- 存下的参数
- 90 亿
- 推理参数规模
- 146 亿
- 一次前向的层计算
- 56 次
- 训练上下文上限
- 262,144
Loop-9B 收文本和图像，只输出文本。解码器共 32 层：0 到 3 层走一遍，4 到 27 层同一组权重再走两遍，28 到 31 层收口。磁盘上是 32 套层参数，一次前向却要把层计算做满 56 次。
中间这段有两条残差流，层怎么读、怎么混、怎么把结果送回残差，靠学出来的映射。模型卡把这种双流连接记为 mHC。混合矩阵用 Sinkhorn 归一，模型卡给出的迭代次数是 20。注意力四层一组：三层线性注意力，一层全注意力，循环边界卡在整组上，两遍排列相同。
- 存下的层32
- 前向执行56
数据来源：SenseNova-Loop-9B 模型卡
隐藏宽度 4,096，前馈宽度 12,288，词表 248,320。全注意力 16 头，键值头 4 个。训练序列最长 262,144 个 token，材料含文本、图像、代码和工具轨迹。模型卡给出的推理参数大约 14.6B，合 146 亿；对应的是执行路径，不是多存的一份权重。
导出时主干用 BF16，管残差路由的参数留在 FP32。推理加速方面，MTP 已可用；名为 DSpark 和 Dflash2 的两套草稿仍在训练，实际能快多少取决于负载和硬件。模型卡列出的推理环境是 Transformers 5.18.0 与 PyTorch 2.11.0。技术报告还没有发布，加载要打开随仓库提供的代码。
单机 8 卡的微调示例在 OpenSenseNova/torchtitan，草稿头训练在 OpenSenseNova/SenseSpec。LightLLM 示例把张量并行设为 4。SGLang 要先取第 47281 号拉取请求里的实现，主干还没有这段代码。许可用 Apache 2.0，使用、修改和商用不再另收费。
循环省的是显存里的份数，不是算力。90 亿权重比按 56 层各存一套要小，账单仍按 56 次层计算付。国产卡要把这套预览跑起来，线性注意力、循环时的缓存和 FP32 路由都得有内核；远程代码不在各家引擎的默认路径上，报告未发布时，层数还不能当成可复现的速度。
