跳转到主内容
数工科技DIGIT·CN
模型与软件DeepSeek-AI

DeepSeek 公开 DSec 智能体训练沙箱

DeepSeek-AI 公开沙箱平台 DSec 的技术报告,用统一软件接口提供函数调用、容器、微型虚拟机和完整虚拟机四类后端。报告称单个规模单元日均约 300 万个实例。

DeepSeek 公开 DSec 智能体训练沙箱
单规模单元的 CPU 节点
约 160 个
日均沙箱实例
约 300 万
并发沙箱数
超过约 38 万
每秒新建数量
超过约 5000 个

DeepSeek-AI 在 9 月 19 日向预印本平台 arXiv 提交了这份技术报告,提交人一栏为梁文锋。报告把 DSec 定义为生产环境里的沙箱系统,用来给智能体强化学习提供隔离的执行环境。这份材料在 9 月 23 日由科技媒体 TechNode 报道。

软件开发包把四类后端收在同一入口:函数调用、容器、微型虚拟机,以及完整虚拟机。论文给出单个规模单元的运行量:约 160 个 CPU 节点,日均约 300 万个沙箱实例;并发超过约 38 万,创建速率超过约每秒 5000 个。容器和微型虚拟机占了实例数与资源消耗的大头。镜像可以分层组合,用到时再从分布式文件系统 3FS 读取。

后端更常见的任务隔离取舍
函数调用短时、无状态开销较小
容器软件工程与工具调用共享宿主内核
微型虚拟机安全敏感任务具备虚拟机边界
完整虚拟机完整操作系统与图形资源开销更高

有状态的采样轨迹和可被抢占的 GPU 训练是分开的。训练任务被抢占时,平台会暂停相关沙箱,回收空闲内存,恢复时仍保留执行状态。出网按任务配置,eBPF 程序按地址、端口和协议拦截名单之外的流量。论文同时给出缓解措施,用来对付模型钻奖励空子,例如限制读取内部日志和套接字。

智能体要在接近真实机器的环境里改文件、装依赖、跑命令,沙箱必须记住这些状态。出网放得太开,任务可能从日志或软件镜像摸到参考答案;卡得太死,评测又无法安装依赖。国产模型做强化学习时,难处是同一集群里既保住轨迹、回收闲置内存,又把出网收成按任务切换的策略。

TAGS#DeepSeek#智能体#沙箱#强化学习