跳转到主内容
数工科技DIGIT·CN
模型与软件NVIDIA Blog

英伟达开源 PAIR:把闲置 PC 连成局域网推理池,兼容 Ollama 与 LM Studio

英伟达在 IFA 2026 期间推出免费开源工具 Personal AI Router(PAIR),可在局域网发现可用 PC,并把可并行的推理请求分到有余量的机器上,兼容 Ollama 与 LM Studio。同日还公布了设备端推理加速与 RTX Spark Windows PC 10 月到货安排。

英伟达开源 PAIR:把闲置 PC 连成局域网推理池,兼容 Ollama 与 LM Studio

9 月 3 日,英伟达在 IFA 2026 相关博客中发布免费开源工具 Personal AI Router(PAIR)。按官方说明,它会在局域网里发现兼容的电脑,并把可以并行的推理请求转到当时还有余量的机器上;设备加入或离开网络时会自行调整。PAIR 兼容 Ollama 与 LM Studio,同时提供图形界面和命令行,测试版覆盖 Windows、macOS 与 Linux。硬件范围写的是 GeForce RTX 20 系列及更新、图灵架构及更新的 RTX PRO、DGX Spark,以及 Apple M4 及更新芯片。

同一篇博客还给出一组设备端推理加速数字:llama.cpp 在 RTX 5090 上称吞吐量最高约 1.9 倍;vLLM 在 RTX PRO 6000 Blackwell Workstation 上约 1.2 倍,在两台 DGX Spark 上最高约 1.4 倍。这些优化也可经 LM Studio 与 Ollama 使用。

同日公布的还有 RTX Spark Windows 电脑:英伟达称搭载约 1 petaflop 的 RTX Blackwell GPU、最高 128GB 统一内存和 20 核 Grace CPU,计划 10 月由 Lenovo、Acer 等 OEM 到货。闲置电脑组成推理池,和单机加速、新主机到货窗口放在同一天宣布,对应的是把设备端智能体跑起来的三条路径。

TAGS#英伟达#边缘计算#算力调度