唐杰拆解Scaling Law新思路：万亿参数是行业走过的弯路，真正的旋钮在别处

导语：智谱创始人唐杰公开系统阐述对Scaling Law的最新理解，用GLM-5.3做了一场"控制变量实验"：它与上一代共用基座与全部参数，只多一个月后训练，评测得分却提升7分。唐杰借此指出，万亿参数曾是行业一起走的弯路，能力增长的关键往往在数据配比、推理成本与后训练等"旋钮"上。

智谱AI创始人唐杰日前在社交平台发文，集中阐述了自己对Scaling Law的最新看法，并把自家的GLM-5.3当成一场"控制变量实验"来佐证。这篇长文的发布时间点，恰好也回应了外界对智谱迟迟没有训练全新基座模型的种种猜测。

在唐杰看来，参数量远非衡量模型能力的唯一标尺，数据规模、算力怎么分配、推理部署条件如何，同样缺一不可。他特意点出GLM-5.3与上一代GLM-5.2的微妙关系：两者共用同一基座、同一套架构，总参数都是753B、激活参数都是40B，唯一的不同只是多了一个月的长时域环境训练和强化学习（RL）后训练。可就是这么一点增量，带来的能力提升却"并非微小"——在AA评测指数上，GLM-5.3拿到60分，比GLM-5.2的53分整整高出7分。

这场实验真正想说明的道理在于：一旦基座模型的参数规模已经足够装下必要的知识，想继续提升能力，往往要靠"拨动其他旋钮"——尤其是后训练阶段，而不是一味堆砌参数。这个判断放到今天，对整个AI行业怎么安排训练资源，都有直接的参考意义。

顺着这条思路，唐杰把Scaling Law的演变轨迹梳理了一遍。2020年Kaplan等人得出的结论认为，参数规模的增长速度应当跑赢数据，二者比例大约是2.7比1。这一结论直接催生了GPT-3、Gopher、MT-NLG等一系列超大规模模型集中问世，万亿参数一度被当成行业进步绕不开的必经站。

然而风向在2022年转变。Hoffmann等人拿400多个模型重新做实验后发现，算力最经济的分配方式，大约落在每参数20个Token上；而且随着算力不断扩张，参数量与数据量应当以大致相当的速度一起涨，而不是把差距越拉越大。这就是后来被反复引用的"Chinchilla Scaling Law"。

唐杰在帖子里直言，早期那批拟合误差，会随着算力量级的抬升被不断放大，结果就是当时规模最大的那批模型，恰恰是算力分配最失衡的。他原话总结道："万亿参数这一轮，回头来看，是整个领域一起走了一段弯路，然后又一起折返。"

Chinchilla之后，最优解并没有就此定型。唐杰提醒，Chinchilla优化的目标，是那种"训练一次、评测一次"的模型；可今天的主流模型每天可能要被调用几十亿次，推理成本摊到全生命周期里，早就远超一次性训练的成本。

一旦把推理成本也算进目标函数，最优解就会朝着"更小的模型、更久的训练"移动。他以Llama-2-7B和Gemma-2-9B举例，两者每参数对应的Token数分别约290和889，都属于刻意"过训练"的范畴。

混合专家架构（MoE）的大范围普及，又把问题变得更复杂了。唐杰专门强调，在MoE语境下有两根维度必须分开看：总参数量决定模型能装下多少知识、事实与长尾信息；而激活参数、以及每次前向计算的有效深度，才决定模型的长程推理能力。

他援引Roberts等人2025年的研究指出，最优的每参数Token数会因任务不同而浮动——偏记忆的任务想要更多参数，偏推理的任务则想要更多数据；而且在每参数Token数固定的前提下，继续加总参数反而会拖累推理能力，多激活一些专家倒是能稳定提升推理表现。基于此，唐杰提出，像找漏洞这类需要二十步因果链推理的任务，其核心能力并不藏在总参数量里。

带着这套判断，唐杰把GLM-5.3定性为一次有意为之的"控制变量实验"。相比GLM-5.2，它的基座、架构、总参数和激活参数全都没动，唯一的变量就是增加了一个月的长时域环境Scaling和强化学习后训练。

他坦承，之所以这次选中后训练这个"旋钮"，是因为它眼下还有最大的改进空间，并不是说别的维度已经没有潜力可挖——"这并不意味着其他旋钮已经转到头了。"他明确表示，基座模型规模、预训练数据、每次前向计算的算力投入都仍在考量的清单上，下一步也不排除会动到中间训练（mid-training）乃至预训练层面的调整。

这套思路，正好正面接住了外界对智谱"为什么一直不训新基座"的疑问。在唐杰的框架里，各个旋钮不必同步转动，关键是判断出"下一个最值得拨动的是哪一个"。眼下，GLM-5.3的Coding能力已经被不少开发者评价为国产模型中的当前最优水平。