
- 总参数
- 1.6 万亿
- 每 token 激活参数
- 480 亿
- 长序列微调单卡吞吐增幅
- 86%
- 预填充吞吐相对 8 比特
- 43.3%
LongCat-2.5 于 11 月 1 日推出,面向长程智能体任务,属于原生多模态,并承接上一代。图像编成多层离散 token,主干用同一套 token 处理图像和文字。视觉编码在进训练前算完,训练计算图里不再包含视觉编码器。
总参数 1.6 万亿,每个 token 激活约 480 亿。中训练和监督微调使用长序列。并行按超节点划分:全分片和专家并行的度数等于超节点内的卡数,上下文并行不超过这个数。参数收集、专家 token 交换和键值缓存收集,都留在超节点内部的高速互联上。
- LongCat-2.070.8
- LongCat-2.588.4
数据来源:LongCat 技术博客;开启思考,温度 1.0
相对分布式数据并行,这套全分片配置在长序列微调上的单卡吞吐高 86%。推理把专家权重和激活都收到 4 比特,矩阵乘走原生的 4 比特整数单元。在已评测的下游任务上,量化后与未量化模型相当,这组对照由博客自己完成。
线上压测对照的是权重和激活均为 8 比特整数的基线。预填充吞吐提高 43.3%,解码吞吐提高 42.77%。首个输出的等待缩短 15.91%,其后每个 token 缩短 19.72%。分组矩阵乘平均为基线的 1.73 倍。
Terminal Bench v2.1 得分 88.4,上一代是 70.8;v4.0 得分 38.5,上一代是 3.0。测试打开思考,温度为 1.0,核采样阈值为 0.95。公开材料里,GPT-5.6-Sol 的 v4.0 为 37.3,Claude Opus 5 为 53.9,这两格旁标了星号。权重下载地址和加速卡型号都没有公布。
单卡显存不到 80 GB 时,万亿混合专家要同时放下参数、优化器状态和长上下文的键值缓存。通信留在超节点里、图像 token 提前算完,少的是搬运,不是纸面算力。4 比特专家能减轻解码时的带宽压力,但 43.3% 对应哪一款卡、多少张卡、什么并发,博客没有公布;这个百分数不能直接当成集群产能。



