- 早期测试吞吐
- 5 倍
- 输出 token/s
- 1669
- 片上 SRAM 峰值
- 21000 TB/s
Cerebras 把推理拆成预填充和解码两段，并让不同种类的芯片各管一段。公司称，晶圆系统数量不变、逐 token 生成速度不下降时，早期测试的吞吐达到原先的 5 倍。博客于 2026 年 10 月 1 日发布，作者是 Isaac Tai 与 Zhenwei Gao，并说明这是该系列的第一篇。
预填充一次处理整段提示，算术强度更高，更吃算力。解码每次只为一条请求产出一个新 token，权重和 KV 缓存仍要从内存搬进来，更吃带宽。放在同一批机器上时，重的预填充会拖住正在往外吐字的请求。拆开之后，两边可以按提示长度或并发路数分别扩容。
- Cerebras1669
- SambaNova708
- Groq475
- Azure319
- Nebius294
- Baseten293
数据来源：Artificial Analysis，2026 年 9 月 10 日
要在池间移交的是这条请求的 KV 缓存，模型权重两边本来就有。缓存过网会增加开销；容量和请求对不上时，一侧会空等。Cerebras 把下一步称为异构拆分，预填充和解码不再共用同一种芯片。解码侧强调晶圆的片上内存带宽：计算单元旁边放 SRAM，数据不必只从片外高带宽显存搬进来。
文中示意图把三类硬件放在预填充一侧：AWS Trainium、AMD Helios 的 Instinct 系统，以及其他加速器。解码池仍是 Cerebras 晶圆。公司称已宣布与多家硬件伙伴合作，用来增加能同时送出的高速 token。示意图列出的是预填充可选硬件；博客没有给出交付数量或供货合同。
后文把同一结果说得更具体：由伙伴加速器处理提示，在晶圆足迹不变的早期测试里，容量提到 5 倍。这组数字来自公司早期测试，非第三方实测。博客把量产部署的硬件、软件和经济取舍留到后续文章。
文中引用评测机构 Artificial Analysis 2026 年 9 月 10 日的数据，用来说明解码为何更看重带宽。模型为 GPT-oss-120B，条件是高推理、输入 10000 token，指标是每秒输出 token。Cerebras 为 1669，SambaNova 为 708，Groq 为 475。微软 Azure 为 319，Nebius 为 294，Baseten 为 293。
博客里另一张 2026 年 9 月 10 日的带宽对照中，Cerebras WSE-3 的片上 SRAM 公布峰值是 21000 TB/s。文中注明，这是片内带宽相加，HBM 数字则是片外流量。两者不是同一层存储，也不能当成 token 速度。
预填充吃算力、解码吃带宽，这是推理服务里早就存在的矛盾；拆到两个池子，是为了让两边按各自的瓶颈扩容。异构再往前一步，是让吃算力的预填充和吃带宽的解码各用擅长的芯片，而不是逼一种加速器两头兼顾。国内集群若混用不同厂商的卡做分池，收益取决于 KV 缓存能否及时过网；公司早期测试的 5 倍，还不能当成采购指标。
