芯片与加速2026-09-07SemiAnalysis

TPUv7 Ironwood 获首份第三方推理测试成绩

谷歌 TPUv7 Ironwood 首次接受第三方推理测试：FP8 条件下，每美元推理产出最高比英伟达 B200 多约 50%，比 B300 多约 96%。但 TPUv7 缺少原生 FP4 支持。

数据速览

每百万 token 成本（100 tok/s/user）: 0.181 美元
单芯片总吞吐（20 tok/s/user）: 9364 token/s
每美元 token 产出，对比 B200: +50.4%
每美元 token 产出，对比 B300: +96.0%

谷歌 TPUv7 Ironwood 拿到首份第三方推理成绩：低交互速度下，每美元 token 产出相对 B200 约高 50%，相对 B300 约高 96%。测试由 SemiAnalysis 于 2026 年 9 月 7 日在 InferenceX Official Preview 发布。设定为同等聚合服务、FP8、单 token 预测，打分模型 Qwen3.5 397B FP8。

交互速度 100 tok/s/user 时，Ironwood 约 0.181 美元 / 百万 token，B200 为 0.222 美元，B300 为 0.276 美元，分别大约便宜 19% 与 34%。降到 20 tok/s/user 时，Ironwood 单芯片总吞吐约 9364 token/s，高于 B200 的 8903 与 B300 的 8925；折算到每美元产出的 token，相对 B200 约多 50.4%，相对 B300 约多 96.0%。

每百万 token 推理成本（100 tok/s/user，FP8）美元 / 百万 token，越低越好

TPUv7 Ironwood0.181
NVIDIA B2000.222
NVIDIA B3000.276

数据来源：SemiAnalysis InferenceX 测试

TPUv7 没有原生 FP4，该精度下 NVIDIA 仍占优；下一代 TPUv8i（代号 Boardfly）会带原生 FP4。TorchTPU 把 TPU 做成原生 PyTorch 设备，调用时把 device 设为 tpu。它拟在 10 月 PyTorch 大会期间开源，并把适配扩到 Kimi K3、GLM-5.3 与 Gemma4。此外，Anthropic 承诺采购逾百万颗 TPU，约 40 万直购、60 万经 GCP 租赁。

TPU 长期只在谷歌云内部可得，外部买方缺少一把非供货方的尺子；第三方的每美元成绩，是它对外供货时议价的依据。优势集中在 FP8 与低交互速度一档，在 FP4 上仍落后，采购方需按自家负载的精度与时延要求重算。

TAGS#SemiAnalysis#TPU#Google#推理

同类别动态追踪

查看全部新闻

芯片与加速

2026-11-02 · 英伟达

英伟达产品页把 Rubin 显存带宽定为 19.2 TB/s

英伟达 Vera Rubin NVL72 产品页把单颗 Rubin GPU 的 HBM4 带宽列为每秒 19.2 TB，NVLink 列为每秒 3 TB。7 月 21 日的架构文章仍把上限标成每秒 22 TB 与每秒 3.6 TB。

芯片与加速

2026-10-31 · 至顶网

东方算芯交付基于 DF1000 的 128 卡训练集群

东方算芯在 2026 年 10 月的上海国芯展上宣布，基于 DF1000 的 128 卡训练集群已经交付，连续训练 72 小时没有中断。Step 130B 的训练适配用了 7 天，千卡规模放在 2026 年底。

芯片与加速

2026-10-29 · 新华财经

天垓 300 首次实机演示，吞吐对照 H200

天数智芯 2026 年 10 月 28 日在上海媒体开放日公开天垓 300 实机，并带出超节点 IXL144 和一款标称 600 TFLOPS 的端侧产品。上海仪电 2026 年 7 月的第三方测试里，典型 PD 分离部署下摊到单卡的端到端吞吐为英伟达 H200 的 1.05 倍，公司称这不是峰值。