跳转到主内容
数工科技DIGIT·CN
芯片与加速vLLM Ascend

昇腾文档给出 Kimi K3.1 Pro 实验部署

vLLM Ascend 0.30.0 把 Kimi K3.1 Pro 标为实验支持,已验证平台是 Atlas 800I A3 和 950DT。A2 与 950PR 不在支持范围,说明里的分离部署示例不直接用于生产。

昇腾文档给出 Kimi K3.1 Pro 实验部署
A3 或 950DT 服务器数
8 台
每台 A3 的卡数
16 张
A3 单卡显存
64 GB
基础配置最大长度
204,800

vLLM Ascend 在 0.30.0 的模型页里,把 Kimi K3.1 Pro 标成实验支持。列入已验证的是 Atlas 800I A3,以及 950DT。A2 和 950PR 两档没有列入。页面更新时间是 2026 年 11 月 4 日。

页面把预填充和解码分开的例子当成流程演示。生产环境建议改用 MindIE Motor,再配 vLLM-Ascend。A3 使用 W4A8 权重,机器是 8 台 Atlas 800I A3,每台 16 张,单卡 64 GB。950DT 使用 W4A8_MXFP 权重,同样是 8 台,每台 8 张卡。

基础配置是 8 个节点上的 4P4D。预填充侧为流水并行 4、预填充上下文并行 4、张量并行 4。解码侧为数据并行 4、解码上下文并行 16、张量并行 16。这一档最大序列长度是 204,800。

另一套分离配置把上下文放到 100 万 token。华为计算称,完整权重于 2026 年 11 月 4 日公布。昇腾随即用 vLLM Ascend 和 SGLang 做推理适配。产品包括 Atlas 800 A3、Atlas 900 A3 SuperPod 和昇腾 950 超节点。

IT之家 11 月 5 日引述了华为计算公众号。金股讯同日刊出的文本同样列出 Atlas 900 A3 SuperPod。该型号不在 vLLM 文档的已验证平台里。

SGLang 仓库在 11 月 4 日新增议题,目标是在昇腾上提供 Kimi K3.1。记录的拓扑为 3 个节点、每节点 8 张卡,张量并行 8、流水并行 3。单条请求的预填充和解码已经核对。吞吐测试还没放上,对应的代码合并请求当天仍开着。

实验页和产品名单差在验收边界。文档给的是 8 台机器上的分离样例,并注明样例不适合直接用于生产。SGLang 只核对了更小拓扑,没有吞吐数字。国产卡要接住这个模型,得先看目标机型能不能按 11 月 4 日的文档跑完;卡数和缓存怎么切,比产品名单长短更要紧。

TAGS#昇腾#Kimi#vLLM#推理