数据速览
- 单集群容量（厂商称）
- 64 PB
- 访问时延（厂商称）
- 60 微秒
- 聚合带宽（厂商称）
- 40 TB/s
- SSD 寿命提升（厂商称）
- 16 倍
汪涛以华为副董事长、轮值董事长的身份，9 月 17 日在上海的华为全联接大会上发布 OceanStor M900，华为称之为 AI 记忆存储。它用来承接超大规模推理，为超节点准备一块共享记忆空间，容量到 PB 级，访问性能到 TB 级。推理过程里膨胀的 KV Cache 就放在这里。发布消息来自华为当天的新闻稿。
互联依托灵衢网络，把 KV Cache 做成集群里可池化、也可分级的共享层，并从显存、内存延伸到 SSD。厂商称，单集群容量可以到 64 PB。分到每颗 NPU 的可用缓存，从 GB 量级升到 TB 量级，好让更多上下文留下来复用。
华为称，CPU、网络与盘控合成的三芯合一是业界首创，并提供原生 KV 语义。NPU 与 SSD 之间只经过一跳，协议不用再转换，CPU 也不再转发。访问时延从毫秒级降到 60 微秒，厂商称降幅约 90%。单集群聚合带宽为 40 TB/s，厂商称比业界常见做法高 1.5 倍。
以 AI 编程作为典型场景，厂商称 Token 吞吐可以翻倍，首 Token 时延可以减半。调度上采用 KV-Aware 自适应存储，按数据价值估计该留多久，再决定放在哪类介质。厂商称写入强度最高 24 DWPD（每天整盘写入 24 次），SSD 寿命可提高到原来的 16 倍，并用来支撑连续三年运行。这些时延和倍数都是厂商自报，尚无第三方实测。
长上下文会把 KV Cache 挤出显存；超节点只加芯片、不加可共享记忆层，卡多了也在等缓存。国内推理集群招标时，PB 级池化和微秒级访问经常出现在同一份需求里，命中率、介质磨损和真实时延仍要上现网才能分开。记忆层做成独立存储产品之后，算力和存力可以分开扩，不必每次都更换整柜计算节点。
TAGS#华为#OceanStor#KV Cache#推理存储
