Gimlet 与 Cerebras 合作拆分推理云

速度目标是最高约每秒 3000 tokens，对象是智能体和需要即时往返的应用。新闻稿把这个数字标为计划。首座装有 Cerebras 芯片的 Gimlet Cloud 机房，预计 2026 年晚些时候启用。

Gimlet Cloud 把晶圆级引擎和 GPU 放进同一套推理方案，每个阶段跑在更合适的芯片上。Gimlet 首席执行官 Zain Asgar 说，多芯片软件加上晶圆级引擎后，计划在生产规模交付这一速度。Cerebras 首席技术官 Sean Lie 称，Gimlet 是 CS-4 的启动合作伙伴，客户因此有一条通向这一代硬件的路径。

新闻稿称，2025 年以来双方已有联合客户，私有化部署里的集成方案已经在产出 token。Gimlet 计划把软件、基础设施设计、接口、开发工具、优化、验证和生产运行继续接到这条云上。公司总部在旧金山，投资方有 Andreessen Horowitz 与 Menlo Ventures。

拆分推理把预填充和解码放到不同芯片上，单路延迟和批量吞吐不再绑在同一类加速器上。晶圆级芯片偏向把单个请求做快，GPU 偏向把很多请求堆高吞吐，合在一起是为了让不同阶段用不同的芯片。国内买推理算力时，应问清预填充和解码各落在哪类芯片，以及每秒 token 数是路线图还是现网测量。