跳转到主内容
数工科技DIGIT·CN
芯片与加速Google

谷歌发布 TPU 8tx 与 8i Max,分别侧重数据保护和长上下文推理

谷歌 11 月 9 日正式发布第八代 TPU(谷歌自研的人工智能芯片)的两套新系统。TPU 8tx 在硬件层保护正在使用的数据和模型权重;TPU 8i Max 把两颗 TPU 8i 封进同一封装,用来一次处理更长的上下文。

谷歌发布 TPU 8tx 与 8i Max,分别侧重数据保护和长上下文推理
时延(相对 TPU 8t)
最多低一半
8i Max 的算力
2 倍
8i Max 的内存带宽
2 倍
8tx 搭配的 EPYC
第五代

谷歌 11 月 9 日在官方博客正式发布 TPU 8tx 和 TPU 8i Max。TPU 是谷歌自研、专门运行人工智能模型的芯片。彭博社此前报道过这两套系统,这次谷歌公布了具体配置。

TPU 8tx 面向政府和受监管行业,在硬件层做机密计算,数据在使用过程中也受保护、受到隔离。它沿用训练芯片 TPU 8t 的硅片,主机为第五代 AMD EPYC 处理器,网络采用低时延互联 Boardfly。谷歌称,时延(等待计算结果的时间)最多可比 TPU 8t 低一半,性能损失接近于零。

在 8tx 上,用户可以在同一套系统里做微调和蒸馏:前者是用自有数据继续训练现成模型,后者是用大模型的输出训练更小的模型。这些工作和用强化学习训练智能体一样,都不用把敏感数据搬去另一套集群。

TPU 8i Max 针对内存墙,即芯片算得快、数据从内存送进来的速度先跟不上;数十个智能体一起处理整份代码库或数小时视频时,就会遇到这个瓶颈。谷歌把两颗低时延的 TPU 8i 封进同一个封装,机柜占地不变。算力、片上静态存储器(SRAM,芯片内部的高速存储)容量和高带宽内存(HBM,紧贴芯片的高速内存)带宽都是 TPU 8i 的 2 倍。机柜里放进两倍硅片后,单位占地面积和每瓦的算力明显增加。

谷歌今年 4 月已发布 TPU 8t 和 TPU 8i,分别用于大规模训练和低时延推理;加上这次的两套,第八代 TPU 共有四套系统。

TAGS#谷歌#TPU#机密计算#AMD