- 对 SWA 的预填充
- 1/5.02
- 对 HySparse 的预填充
- 1/2.92
- MRCR-v2 高出点数
- 11.30
- RULER-v2 高出点数
- 19.81
多轮智能体里，一句短动作常常换回很长的工具观察，上下文还在往上叠。HySparse2 用两级键值共享压预填充、缓存体积和长文检索。外层只在全注意力层之间做桥接，内层让稀疏层复用上一层的缓存和选中索引。论文由小米 LLM-Core 公开在 arXiv，罗福莉为通讯作者之一，并任团队负责人。
对照包含 HySparse2、上一代 HySparse，以及 MiMo-V2 系列使用的 Hybrid SWA，训练数据和日程相同。到 100 万 token、缓存按 FP8 计时，论文分析称相对 Hybrid SWA 的预填充浮点运算约为 1/5.02。相对 HySparse，同一指标约为 1/2.92。这一长度下，HySparse2、HySparse 与 Hybrid SWA 的 KV 缓存分别是 2.69 GB、6.72 GB 和 12.09 GB。
- Hybrid SWA12.09
- HySparse6.72
- HySparse22.69
数据来源：HySparse2 论文
桥接沿 YOCO 分成自解码器与交叉解码器，但只连接两侧的全注意力层。交叉解码器的键和值来自自解码器对应层的隐藏状态，查询仍用本层状态。稀疏层改为按单个 token 挑选，不再按块取；最近 128 个 token 会被强制留下，并与更早位置共用同一份缓存。交叉解码器的缓存都能从自解码器状态生成，预填充就可以在自解码器结束时停下。
轻量后训练之后，论文称平均 MRCR-v2 比 HySparse 高 11.30 个百分点，比 Hybrid SWA 高 6.44 个百分点。RULER-v2 则分别高 19.81 与 18.65 个百分点。AgentPPL 和 LongPPL 在已测长度上都低于两个对照。罗福莉宣布 MiMo-V3 将采用这套架构；IT之家于 9 月 23 日 23:05 发稿，科技媒体 TechNode 于 9 月 24 日跟进。
IT之家称，9 月 23 日凌晨小米开源了 MiMo-V2.6 的 Pro 与 Flash。HySparse2 论文对照的 Hybrid SWA 来自 MiMo-V2 系列。关于 V3，罗福莉的宣布和这篇论文都没有给出权重或调用接口的获取方式。
长上下文智能体的开销常常先落在预填充和 KV 缓存，而不是逐 token 解码。工具每返回一段长观察，历史就厚一层，显存和首段等待一起上去。国产训推集群要跑多轮智能体，采购时会同时看缓存能否压小、预填充能否少算几层，而不只看卡的峰值算力。论文里的 80B-A3B 仍是实验配置，离可采购的 MiMo-V3 服务还差权重、运行软件和集群侧落地。
