跳转到主内容
数工科技DIGIT·CN
模型与软件NVIDIA Blog

英伟达开源 PAIR:把闲置 PC 连成局域网推理池,兼容 Ollama 与 LM Studio

英伟达开源局域网推理调度工具 PAIR,可把闲置 PC 组成推理池;同日还公布设备端推理加速与 RTX Spark 到货时间。工具兼容 Ollama 与 LM Studio。

英伟达开源 PAIR:把闲置 PC 连成局域网推理池,兼容 Ollama 与 LM Studio
RTX Spark 的 GPU 算力
约 1 petaflop
RTX Spark 最高统一内存
128 GB
RTX Spark 的 Grace CPU
20 核

9 月 3 日,英伟达在 IFA 2026 相关博客中发布免费开源工具 Personal AI Router(PAIR)。按官方说明,它会在局域网里发现兼容的电脑,并把可以并行的推理请求转到当时还有余量的机器上;设备加入或离开网络时会自行调整。

透明外壳的笔记本电脑,中央露出芯片与电路走线,右下角标有 NVIDIA Local AI
英伟达展示在笔记本上本地运行 AI 的产品渲染图图片来源:NVIDIA

PAIR 兼容 Ollama 与 LM Studio,同时提供图形界面和命令行,测试版覆盖 Windows、macOS 与 Linux。硬件范围包括 GeForce RTX 20 系列及更新、图灵架构及更新的 RTX PRO、DGX Spark,以及 Apple M4 及更新芯片。

设备端推理吞吐提升倍数倍
  • llama.cpp,RTX 50901.9
  • vLLM,两台 DGX Spark1.4
  • vLLM,RTX PRO 6000 Blackwell1.2

数据来源:英伟达称

同批公布的还有一组设备端推理加速数字:llama.cpp 在 RTX 5090 上称吞吐量最高约 1.9 倍;vLLM 在 RTX PRO 6000 Blackwell Workstation 上约 1.2 倍,在两台 DGX Spark 上最高约 1.4 倍。这些优化也可经 LM Studio 与 Ollama 使用。

同日公布的还有 RTX Spark Windows 电脑,计划 10 月由 Lenovo、Acer 等 OEM 到货。英伟达称其搭载约 1 petaflop 的 RTX Blackwell GPU、最高 128 GB 统一内存和 20 核 Grace CPU。推理池、单机加速与新主机在同一天公布。

从官方描述看,PAIR 分发的是整条推理请求,并不把一个模型拆到多台机器上,每台机器仍要装得下所用模型的权重。闲置电脑能分担并发,单个请求的速度仍取决于单机显存与带宽。对企业而言,这类工具更适合用办公终端跑内部小模型的批量任务。

TAGS#英伟达#边缘计算#算力调度