跳转到主内容
数工科技DIGIT·CN
产业合作SambaNova

超微将销售 SambaNova SN50 推理系统

超微将集成并销售由 SambaNova SN50 与英伟达 GPU 组成的分离式推理系统,两种芯片各管一段。首批 1 万颗 SN50,供各地数据中心跑智能体推理。

超微将销售 SambaNova SN50 推理系统

超微电脑将集成、验证并交付一套分离式推理系统,把英伟达 GPU 与 SambaNova SN50 配在一起,供各地数据中心做智能体推理。系统分批推出,第一批为 1 万颗 SN50。先给以 GPU 为主的专业云和主权云,再扩到自建机房的企业。SambaNova 于 11 月 3 日在官网说明了这项安排。

智能体一次任务里可能调用上千次大模型,单次还可能耗上几分钟,速度和用电上的差别会被放大。推理分成两段。预填充处理提示词,更吃算力,英伟达 GPU 更合适;解码一个词一个词往外生成,更吃内存带宽,SN50 承担这一段。智能体大部分时间耗在解码上。

两段各用更合适的芯片,公司称会比单靠一种芯片更快,也更省。SN50 做大模型高速、高吞吐推理时,不必把机柜功率密度拉到极高,因此可以放进已有数据中心。超微承担集成、验证、交付和上门服务。SambaNova 的工程师一起做客户部署,并把模型调到 SN50 上。

客户可以按购买其他人工智能设备的方式,向这家渠道商下单 SN50。SambaNova 预期,2027 年因此部署的高性能推理容量,会明显多于没有这项合作的情形。联合创始人兼首席执行官 Rodrigo Liang 说,客户能在同一家伙伴处把 SN50 和 GPU 一起下单。超微总裁兼首席执行官 Charles Liang 则把合作放进 DCBBS,让 GPU 计算和专用推理加速进同一套异构系统。

把预填充和解码拆开,是电力和显存不能同时加码时的常见办法。国产加速卡进推理,多半整段替换,或先接住解码,很少和英伟达 GPU 出现在同一份供货里。这次公开的是渠道和 1 万颗的首批规模;机柜功率、单芯片显存和已签约客户都没有公布,采购时能核对的是芯片能否进现有机房,以及渠道商是否真正承担集成和上门服务。

TAGS#超微#SambaNova#推理#英伟达