数据速览
- 聚合吞吐增幅
- +49.2%
- 纳入调度的 GPU
- 192 颗
- 每瓦吞吐 tokens/s/W
- 6.12
- P99 首 token 时延
- +17%
Nscale 把功率共享软件装进冰岛凯夫拉维克 Verne 园区的机房，电力全部来自可再生电源。对比跑在同一套 GB300 NVL72 上，模型是 Kimi K2.5；静态开 140 颗 GPU，共享后纳入 192 颗，增加 37.1%。聚合吞吐因此提高 49.2%。英伟达 2026 年 9 月 27 日在开发者博客公布这组与 Nscale 联合采集的结果。
负载用 FP4 精度，输入长度 8K、输出长度 1K，软件栈为 NVIDIA Dynamo 与 TensorRT-LLM。静态基线是 35 个四卡节点，两路高吞吐各用 52 颗 GPU，低时延一路用 36 颗。MaxLPS 把节点加到 48 个，再开一路同样 52 颗的高吞吐，低时延实例不动。作业落在四个机柜上，每路分布式负载都限制在单柜内，以免把跨柜差异算进结果。
- 静态基线1,084,503
- DSX MaxLPS1,618,443
数据来源：NVIDIA 与 Nscale 联合评测
两组锁在同一 264.4 kW 批复功率上。预算利用率上去了，已有的高吞吐与低时延实例输出几乎没动。GPU 平均功率从 97.0 kW 升到 131.8 kW，整组数字来自双方联测，尚无独立机构复现。中位时延和 P75 保持在基线大约 5% 以内；P99 首 token 时延从大约 15.7 秒升高 17%。
| 指标 | 静态基线 | DSX MaxLPS |
|---|---|---|
| 纳入 GPU | 140 | 192 |
| 预算利用率 | 62.9% | 75.2% |
| 实测总功率 | 166.2 kW | 198.9 kW |
| 每瓦吞吐 | 4.10 | 6.12 |
机柜按峰值同时拉满来报电，推理的预填充与解码、训练的通信间隙都吃不满，余量就留在批复额度里。交互服务真正敏感的是尾部：中位数不动、最慢的 1% 首 token 变慢，上线前要单独设接受线。国内园区同样先碰到并网容量而不是芯片规格；换到国产加速卡时，功率共享能不能做、尾时延放多少，得用自家负载重测，不能把这组 GB300 数字直接搬过去。
TAGS#NVIDIA#DSX#Nscale#GB300
