
- 时延(相对 TPU 8t)
- 最多低一半
- 8i Max 的算力
- 2 倍
- 8i Max 的内存带宽
- 2 倍
- 8tx 搭配的 EPYC
- 第五代
谷歌 11 月 9 日在官方博客正式发布 TPU 8tx 和 TPU 8i Max。TPU 是谷歌自研、专门运行人工智能模型的芯片。彭博社此前报道过这两套系统,这次谷歌公布了具体配置。
TPU 8tx 面向政府和受监管行业,在硬件层做机密计算,数据在使用过程中也受保护、受到隔离。它沿用训练芯片 TPU 8t 的硅片,主机为第五代 AMD EPYC 处理器,网络采用低时延互联 Boardfly。谷歌称,时延(等待计算结果的时间)最多可比 TPU 8t 低一半,性能损失接近于零。
在 8tx 上,用户可以在同一套系统里做微调和蒸馏:前者是用自有数据继续训练现成模型,后者是用大模型的输出训练更小的模型。这些工作和用强化学习训练智能体一样,都不用把敏感数据搬去另一套集群。
TPU 8i Max 针对内存墙,即芯片算得快、数据从内存送进来的速度先跟不上;数十个智能体一起处理整份代码库或数小时视频时,就会遇到这个瓶颈。谷歌把两颗低时延的 TPU 8i 封进同一个封装,机柜占地不变。算力、片上静态存储器(SRAM,芯片内部的高速存储)容量和高带宽内存(HBM,紧贴芯片的高速内存)带宽都是 TPU 8i 的 2 倍。机柜里放进两倍硅片后,单位占地面积和每瓦的算力明显增加。
谷歌今年 4 月已发布 TPU 8t 和 TPU 8i,分别用于大规模训练和低时延推理;加上这次的两套,第八代 TPU 共有四套系统。



