跳转到主内容
数工科技DIGIT·CN

互联网

在互联网平台自有机房部署数工 AI 服务器与调度平台,新增国产 GPU 与已有 GPU 同池调度。承载视频审查、内容理解与推荐类模型的训练与推理。

要解决的问题

这一行在业务侧遇到的问题。方案落地要过的部署关列在下一节「现场问题」。

审核量与人力不匹配

内容量按小时增长,人工审核的人力加不上去

流量波动大

高峰与低谷差几倍,按峰值备机器长期闲置,按均值备高峰扛不住

时延直接影响体验

面向用户的推理链路时延直接影响交互体验与转化

现场问题

负载波动

请求量随热点与时段波动,审查推理与训练任务争抢同一批 GPU

集群扩容

新增国产 GPU 需接入已有集群,在线服务不能停机

时延敏感

视频审查推理位于内容发布链路上,响应时间影响内容上线

负载特征

同一个行业里不同场景吃的算力不是一回事,选型按负载类型走。

场景负载类型说明对应型号
内容审核推理大并发推理审核服务按副本横向扩,卡数与显存在租户配额内自助申请数工 AC310数工 AS510
多路视频解码与解析多路视频解码上传内容先解码再进模型,解码吞吐决定单机的处理能力数工 AC310数工 AS510
模型训练与迭代混合精度训练内容理解与推荐模型的训练任务在租户配额内提交数工 AC710

典型应用场景

  • 视频审查
  • 内容理解
  • 图文审核
  • OCR 与文档解析
  • 智能客服
  • 推荐模型训练

已有集群扩容纳管

层内容
云端数工® AC 系列 GPU 加速卡与 AI 服务器扩容已有集群;异构算力调度平台把已有 GPU 与新增国产 GPU 纳入同一资源池,按业务线分租户并划分卡数与显存配额
智能体数工科技按平台的运营流程,为命中分级、复审排队与申诉回流开发智能体:审核结果串成处置动作,人工只看争议档
应用内容审核、内容理解与推荐服务多副本部署;训练与推理任务按卡数与显存在租户配额内自助申请

应用层的智能体与行业软件由数工科技按客户需求开发,与硬件、平台一并交付,不另找集成商。

已有 GPU 的纳管范围见「已适配 GPU」。

方案选型

本方案用到的型号与头条参数,完整规格见各型号页。

型号定位头条参数
数工 AS710AS710-IX-G14U 8 卡 AI 服务器,推理集群的节点。8 × AC310 / 512 GB 显存合计 / 4U 机架
数工 AS510AS510-IX-G12U 4 卡 AI 服务器,推理与部门级训练。4 × AC310 / 256 GB 显存合计 / 2U 机架
数工 AC310AC310-TS-G1推理加速卡,256 路视频分析。384 TOPS@INT8 / 64 GB HBM2e / 350 W
数工 AC710AC710-TS-G1训练与混合精度加速卡,FP32 56 TFLOPS。224 TFLOPS@FP16 / 64 GB HBM2e / 450 W