- 总参数
- 2800 亿
- 每 token 激活参数
- 140 亿
- 预训练 token
- 33.5 万亿
- 微调与推理上下文
- 100 万
百度把文心 5.5 Flash Base 的权重放上 Hugging Face，英文名是 ERNIE-5.5-Flash-Base。BF16 仓库名为 baidu/ERNIE-5.5-Flash-Base-BF16，旁边另有一份 FP8。许可协议叫 ERNIE 5.5 Flash Base Model License Agreement v1.0。这一版停在预训练结束，中期训练和后训练都还没做。
总参数 2800 亿，每个 token 激活 140 亿。整网 43 层，隐藏维度 4096，注意力头 64 个。除第一层外，每层 512 个路由专家，每个 token 取前 10 个，再加 1 个共享专家。
- 文心 5.5 Flash93.3
- DeepSeek V489.4
- Hy3 preview87.5
- MiMo V2.587.6
数据来源：百度文心发布页，2026 年 11 月 5 日
预训练从零开始，语料 33.5 万亿 token，优化器是 Muon，混合精度用 FP8。上下文在预训练里逐步加到 128K，微调和推理可以到 100 万 token。每 7 层只有 1 层按单个 token 回看远处，其余层把每 128 个 token 收成一条缓存。
对照由百度用同一套脚本完成。DeepSeek-V4-Flash-Base 总参数 2840 亿、激活 130 亿，Hy3-preview-Base 为 2950 亿和 210 亿，MiMo-V2.5-Base 为 3100 亿和 150 亿。MMLU 五样本精确匹配，文心 93.3，DeepSeek-V4-Flash-Base 89.4，Hy3-preview-Base 87.5，MiMo-V2.5-Base 87.6。
并不是每项都更高。带思维链的 BBH 上，Hy3-preview-Base 为 90.0，文心为 89.2。中文简单问答 ChineseSimpleQA 上，DeepSeek-V4-Flash-Base 为 75.3，文心为 73.0。这些分数是百度自己测的。
继续训练，和直接调用一个已经能对话的模型，不是同一件事。页面上的推理例子走 Transformers、vLLM 和 SGLang，没有给出昇腾、海光或摩尔线程的配置。激活参数 140 亿，显存比同尺寸稠密模型小，但专家怎么选、稀疏注意力怎么算，都要有对应算子；权重能下载，不等于国产加速卡上已经能跑。
