- 推测解码单路，16 颗 TPU v7
- 超过 700 token/s
- 16 颗 GB200 的 vLLM 配方
- 452 token/s
- 无推测解码，批量 1 至 8
- 1.4 至 2 倍
- GPQA-Diamond 与 GSM8K
- 0.944 / 0.972
由 vLLM 创立者与核心维护者创办的 Inferact，于 2026 年 9 月 23 日放出 inferact/tpu-megakernels。实现把 Kimi K3 的 92 层混合专家收进一次 Pallas 调用，部署在 16 颗 TPU v7 Ironwood、合计 32 个 TensorCore 上。接上 DSpark 后，接受长度大约为 3 到 6，单步约 8.5 毫秒，单用户吞吐超过 700 token/s。仓库许可证为 Apache 2.0。
接受长度取 6 时，16 颗 GB200 上的 vLLM 已公开配方为 452 token/s。关掉推测解码后，K3 与 Qwen 3.8 27B 在批量 1 至 8 大约是这套基线的 1.4 至 2 倍；K3 在批量 1 接近 2 倍。公开规格上，BF16 峰值、HBM 容量和带宽差距不大，小于单路吞吐的差距。
- 16× TPU v7700
- 16× GB200452
数据来源：Inferact 博客；GB200 为 vLLM 公开配方
| 指标 | TPU v7 | GB200（单颗 GPU） |
|---|---|---|
| BF16 峰值 | 2.31 PFLOPS | 2.5 PFLOPS |
| HBM 容量 | 206 GB | 186 GB |
| HBM 带宽 | 7380 GB/s | 8000 GB/s |
| 片间互联 | 1200 GB/s（ICI） | 1800 GB/s（NVLink 5） |
内核用 Pallas 编写。公司称，据其所知这是首个开源的 Pallas 推理 megakernel。每颗 TensorCore 有 64 MiB VMEM，权重提前搬进片上存储，下一层的搬运可以叠在当前层的计算上。注意力头拆满 32 个 TensorCore，路由专家按 TP4 × EP8 放置。
路由专家从潜表示到隐藏维的投影，在每台主机的 8 个 TensorCore 内分片，跨主机则复制权重，多读一些参数，换更少的集合通信。批量放到 8 时，这颗内核充当 DSpark 的验证器，每次检查 1 个锚点加 7 条草稿。整颗内核从零编译不到 90 秒；同一量级的模型若拆成大量 XLA 算子，编译常常超过 30 分钟。精度用贪心解码和最大推理力度核过，GPQA-Diamond 为 0.944，GSM8K 为 0.972。
GB200 一侧并不是另一套手工融合的 megakernel，而是 vLLM 已经公开的 Kimi K3 配方。吞吐差里同时有芯片和片上存储的差别，也有内核与调度上的软件投入。英伟达截至发稿未见公开回应。
开放权重模型要在英伟达以外的加速器上形成可部署路径，解码带宽往往卡在内核，而不只卡在峰值算力。国产加速卡和 TPU 对照时也一样：软件栈、内核和编译投入，会和 HBM 带宽一起决定单路时延。只比 PFLOPS 的采购，会把软件投入造成的差距看成硬件胜负。
