- 每美元 token 峰值
- 6900 万
- B200 对照峰值
- 4600 万
- 每 GPU 吞吐提升
- 2.4 倍
- 并发 256 峰值
- 55.8k
MoRI UMBP 接到 Instinct MI355X 上，给智能体推理存 KV 缓存；技术文章发于 2026 年 10 月 1 日。这套设施可理解为统一内存与带宽池，经 SGLang 的 KVCache Store Linker 接到引擎。SemiAnalysis 公开榜显示，峰值约为每 1 美元总拥有成本 6900 万总 token。对照的 B200 跑 Dynamo 与 SGLang，约为 4600 万，大约 1.5 倍。
榜单模型是 DeepSeek-V4-Pro-0813，规模 1.6T；仪表盘是 InferenceX 的 Rent / 3-Year-Commit 档，更新于 2026 年 9 月 25 日。厂商称，部分交互性档位高于 GB200 NVL72、B300 与 GB300 NVL72；MI355X 曲线标为 FP4，选定点每美元 token 最高约 5.6 倍。2026 年 7 月，AMD 与月之暗面一起介绍过 SGLang 与这套内存池。厂商称，过去一个月里相关改动进入 SGLang 社区，并带上上述链接器。
- MI355X6900
- B2004600
数据来源：SemiAnalysis InferenceX 公开榜（Rent / 3-Year-Commit，更新于 2026-09-25），AMD 2026 年 10 月 1 日技术文章援引
厂商称，每颗 GPU 的峰值吞吐从 22.9k 提到 55.8k，为 2.4 倍，条件是并发 256。链接器让显存（L1 HBM）与机外 DRAM 池（L3）直接交换 KV，不再经一层主机缓存中转。这份 DRAM 可以跨数据并行（DP）的各路共享；引擎重启后，缓存留在节点上的独立进程里。厂商称，下一步准备把同一套池扩到 ATOM、vLLM 与 llm-d。
智能体多轮任务里，大量提示 token 是已经算过的前缀，单 token 成本取决于缓存放在哪、下一轮还能不能用上。显存放不下长会话，绑在引擎进程里的主机缓存一重启就丢，公开榜上的每美元 token 会被这两件事拉开。国产加速卡要做同类服务，软件栈得先有跨卡共享、重启还能留住的 KV 池，峰值算力填不上这个缺口。
