互联网
在互联网平台自有机房部署数工 AI 服务器与调度平台,新增国产 GPU 与已有 GPU 同池调度。承载视频审查、内容理解与推荐类模型的训练与推理。
要解决的问题
这一行在业务侧遇到的问题。方案落地要过的部署关列在下一节「现场问题」。
审核量与人力不匹配
内容量按小时增长,人工审核的人力加不上去
流量波动大
高峰与低谷差几倍,按峰值备机器长期闲置,按均值备高峰扛不住
时延直接影响体验
面向用户的推理链路时延直接影响交互体验与转化
现场问题
负载波动
请求量随热点与时段波动,审查推理与训练任务争抢同一批 GPU
集群扩容
新增国产 GPU 需接入已有集群,在线服务不能停机
时延敏感
视频审查推理位于内容发布链路上,响应时间影响内容上线
典型应用场景
- 视频审查
- 内容理解
- 图文审核
- OCR 与文档解析
- 智能客服
- 推荐模型训练
已有集群扩容纳管
| 层 | 内容 |
|---|---|
| 云端 | 数工® AC 系列 GPU 加速卡与 AI 服务器扩容已有集群;异构算力调度平台把已有 GPU 与新增国产 GPU 纳入同一资源池,按业务线分租户并划分卡数与显存配额 |
| 智能体 | 数工科技按平台的运营流程,为命中分级、复审排队与申诉回流开发智能体:审核结果串成处置动作,人工只看争议档 |
| 应用 | 内容审核、内容理解与推荐服务多副本部署;训练与推理任务按卡数与显存在租户配额内自助申请 |
应用层的智能体与行业软件由数工科技按客户需求开发,与硬件、平台一并交付,不另找集成商。
已有 GPU 的纳管范围见「已适配 GPU」。
方案选型
本方案用到的型号与头条参数,完整规格见各型号页。
| 型号 | 定位 | 头条参数 |
|---|---|---|
| 数工 AS710AS710-IX-G1 | 4U 8 卡 AI 服务器,推理集群的节点。 | 8 × AC310 / 512 GB 显存合计 / 4U 机架 |
| 数工 AS510AS510-IX-G1 | 2U 4 卡 AI 服务器,推理与部门级训练。 | 4 × AC310 / 256 GB 显存合计 / 2U 机架 |
| 数工 AC310AC310-TS-G1 | 推理加速卡,256 路视频分析。 | 384 TOPS@INT8 / 64 GB HBM2e / 350 W |
| 数工 AC710AC710-TS-G1 | 训练与混合精度加速卡,FP32 56 TFLOPS。 | 224 TFLOPS@FP16 / 64 GB HBM2e / 450 W |

