导语：大模型圈"参数越多、模型越强"的说法正受到挑战。智谱创始人唐杰发文指出，参数量从未能单独决定模型能力，数据规模、算力分配与推理部署缺一不可，行业评价标尺正从"数参数"切换到"算算力"。从2021年万亿参数Switch-C的"参数失灵"，到GLM-5.3加后训练即能力跃升的实证，算力分配与使用效率正成为衡量模型的新关键。
在人工智能领域，曾流行一种说法：参数规模越大，模型实力就越强。智谱AI创始人唐杰近期在X平台发表长文，直接对这一说法提出了异议。
这篇文章名为《Thoughts About Scaling Law》（关于 Scaling Law 的一些思考），开篇便回应了发布会上被反复提及的问题：Scaling 仍在继续，可究竟在 Scaling 什么？唐杰给出的答案是，参数量无法单独决定模型能力，数据规模、算力分配方式以及推理阶段的部署条件缺一不可。行业衡量模型的标尺，正从"数参数"切换为"算算力"。
这番表态并非学者一时兴起的感慨，而是牵动整个产业判断的一次重新定调。过去数年间，几乎所有大模型厂商都把参数量当成最抢眼的宣传口径，从1750亿、5300亿一路喊到上万亿，数字不断被刷新。然而现实给出的答案恰恰相反——那个把参数量推向极致的标志性实验，早在2021年就已为"参数失灵"埋下伏笔。
把时间拨回2021年1月，Google Brain团队在论文《Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity》中，借助稀疏激活的混合专家架构（MoE），训练出参数量达1.6万亿的Switch-C模型。该模型由2048个专家构成，权重文件体积达3.1TB，一举成为当时规模最大的语言模型，参数量远超拥有1750亿参数的GPT-3。
但有一个细节容易被忽略：1.6万亿属于"总参数"，并非每次都会被全部调用。Switch Transformer的门控网络在每次前向传播时，只把输入路由到其中一个专家，真正被激活的参数仅占总参数的极小比例。这正是MoE设计的核心所在——把"知识仓库的容量"与"一次能调动的算力"拆成两件互不相干的事。
效果随即显现。Switch-C的预训练速度比谷歌上一代最大的密集模型T5-XXL（110亿参数）快4倍，训练耗时仅为后者的四分之一；更小规模的Switch-Base对T5-Base实现了7倍的预训练加速。单从这一点看，稀疏化让万亿参数成为现实，是一次扎实的工程胜利。
真正值得留意的，是论文中的下游任务数据。在计算量（FLOPs）相同的前提下，Switch-Base在SuperGLUE上的得分比T5-Base高出4.4分，在Winogrande上高出6.7分，在闭卷TriviaQA上高出6.2分，知识类任务几乎全线占优。但在ARC Challenge这类需要多步推理的题目上，Switch-Base仅拿到32.8分，落后于T5-Base的35.5分，差了2.7分。
这组数据暴露了一个事实：扩大总参数换来的是"记住更多"，而非"想得更深"。参数规模对不同任务的作用是错位的——书架上多了书，不代表读者就更会推理。
要理解这轮错位，先得把总参数、激活参数、FLOPs这三个常被混为一谈的概念区分清楚。总参数量好比一座图书馆的藏书总量，决定模型能装下多少知识、多少事实和长尾信息，是容量的天花板；激活参数量则是这次阅读真正翻开的那几本书。在密集模型中，每次前向传播所有参数都会参与，总参数与激活参数基本等同；而在MoE架构下，门控网络只挑选一小部分专家，激活参数可能只占总参数的百分之几。FLOPs则是读者真正付出的脑力劳动量，衡量每次"思考"实际消耗的浮点运算次数，也是能力与成本的真实标尺。
唐杰在文中打了个比方：总参数量像模型的仓库，决定它能装多少知识；激活参数与有效深度，才接近模型一次能调动多少能力、能把推理链走多远。他举了一个安全场景的例子：模型记住更多CVE漏洞，只能说明它见过更多案例；可一旦遇到全新的漏洞，它要从异常代码一路追踪到触发条件，再设计验证方法和利用路径，连续走完二十步推理且不能丢掉任何线索。这种能力，恰恰不在总参数量里。
于是"FLOPs是智能，参数是知识"这句话，成了理解行业口径失真的钥匙。参数决定模型"知道多少"，FLOPs决定模型"能想多深"；前者是库存，后者是算力，两者根本不在同一个坐标系里。
这套错位并非一开始就被看清，行业是一步步试错走过来的。2020年，OpenAI的Kaplan团队得出结论：参数规模的增长应当快于数据增长，比例约为2.7比1。这一结论带动了一批超大规模模型集中涌现，GPT-3、Gopher、MT-NLG接连登场，万亿参数一度被视作通往强智能的必经之路。唐杰事后复盘时表示，早期Scaling Law里的拟合误差会随算力量级的提升不断放大，模型越大，参数与数据之间的资源错配就越严重。
转折出现在2022年。DeepMind的Hoffmann团队对400多个模型重新做了实验，结论是在固定计算预算下，最优配比应接近每参数20个Token，参数和数据应当近似同步增长——这就是赫赫有名的Chinchilla Scaling Law。一个700亿参数、以1.4万亿Token训练的Chinchilla，在绝大多数评测任务上超越了1750亿的GPT-3、1780亿的Jurassic-1、5300亿的MT-NLG和2800亿的Gopher，MMLU平均准确率达到67.5%。这一结果促使行业重新思考方向：参数并非堆得越多越好，而是要和数据配平。
但唐杰紧接着指出，Chinchilla给出的答案并非终点。它优化的是"训练一次、评测一次"的模型，而今天的主流模型每天可能被调用数十亿次，推理成本在全生命周期里早已远超一次性训练成本。把推理成本纳入目标函数之后，最优解再次移动，向"更小模型、训练更久"的方向漂移。他以Llama-2-7B和Gemma-2-9B为例：两者的每参数Token数分别约为290和889，远超Chinchilla时代的20，属于刻意"过训练"的结果。
更进一步，2025年Roberts等人的研究显示，最优的每参数Token数并非固定常数，而是随任务变化。记忆类任务更依赖参数规模，推理类任务更依赖数据量；在每参数Token数固定的条件下，继续扩大总参数反而会降低推理能力，激活更多专家才能稳定提升推理表现。这与Switch Transformer的实验相互印证，把"参数失灵"的结论从经验上升成了规律。
回过头看，万亿参数这一轮，是整个领域一起走的一段弯路，走完之后又一起折返。问题在于，学术界的认识已经迭代了好几轮，产业界的宣传口径却还停留在第一轮。
一个普遍现象是，无论国内还是海外，混合专家模型的发布会几乎只报总参数量。某某模型5000亿参数、某某模型万亿参数，数字越喊越大，但在MoE架构下这些数字早已失真。总参数1.6万亿的Switch-C，每次真正激活的专家极为有限；今天市面上那些号称数千亿参数的MoE模型，实际一次推理调动的参数可能只有几十分之一。拿总参数比大小，就像用图书馆的藏书量衡量一位读者的思考深度，听起来声势不小，实则答非所问。
更隐蔽的陷阱藏在"Token参数比"里。既然Roberts等人的研究已经证明这个比值会随任务变化，那么任何脱离具体任务、只拿参数量做横向对比的行为，本质上都是营销话术。记忆类任务里多参数是优势，推理类任务里多参数甚至可能成为负担。厂商只报一个对自己最有利的数字，却从不说明它针对哪类任务、激活了多少专家、推理时消耗多少FLOPs。
对投资人而言，这直接关系到估值模型是否需要重写。过去评估一家大模型公司，先看参数量；如今这个指标已经不够用了。真正决定产品落地上限的，是训练算力的分配效率和推理时的FLOPs预算。一个推理成本更低、FLOPs效率更高的中等规模模型，很可能在产品化和商业化上跑赢一个纸面参数量惊人、却负担不起推理算力的庞然大物。用户购买的终究是"能想多深"，不是"仓库有多大"。
唐杰用一个自己主导的实验，为这套新标尺提供了实证。他旗下的GLM-5.3，与上一代GLM-5.2共用完全相同的基座、相同的架构、相同的753B总参数（约7530亿）和40B激活参数（约400亿），唯一的变量是增加了一个月的长时域环境Scaling与强化学习（RL）后训练。结果显示，GLM-5.3在AA评测指数上从53分升至60分，能力跃升"并非微小"。参数一个没加，能力实实在在提升了。
这几乎是一次标准的控制变量实验。当基座模型的参数规模已经足够装下知识，额外的能力提升往往来自其他变量的调整，尤其是后训练阶段，而不是继续堆参数。唐杰也坦言，选择后训练这个变量，是因为它当下改进空间最大，并不代表其他变量已经用尽——基座规模、预训练数据、单次前向算力投入，都还在他的考量范围内。这个实验同时回应了外界对智谱"为何不训全新基座"的质疑。下一个最值得调整的变量，未必是参数。
这套逻辑一旦成立，整个产业的竞争叙事就要改写。大模型的军备竞赛，正在从"谁参数多"切换到"谁把有限的FLOPs用得更聪明"。训练阶段的算力分配、推理阶段的FLOPs预算、后训练阶段的强化学习，每一项都比纸面参数量更接近产品落地的真实上限。参数量依然重要，它决定了知识的上限，但不再是那个可以单独拎出来炫耀的标尺。
把视角从论文拉回产业，这件事对三类人的意义截然不同。对模型厂商来说，继续拿总参数做营销，是在透支行业信任。更审慎的玩家已经开始改变口径，报激活参数、报推理成本、报针对具体任务的实测表现。谁先诚实地把"FLOPs效率"摆上台面，谁就在下一轮产品竞争中占据主动。
对投资人而言，尽调清单需要更新。与其盯着总参数量，不如追问三件事：这个模型的激活参数是多少，推理时每Token消耗多少FLOPs，它在目标场景里的Token参数比是否合理。一个能回答这三个问题的团队，远比一个只会强调万亿参数的团队更值得下注。
对使用方而言，选型时最该警惕那些"大而失真"的宣传。可以记住那条朴素的判断：参数决定它知道多少，FLOPs决定它能想多深。实际要看的，是后者。
回看这五年，行业先一拥而上堆参数，随后又集体转向补数据，如今再把推理成本和后训练纳入账本。每一次转弯，改写的都是同一个答案：所谓"最优Scaling"，其实会随任务、架构和使用方式不断变化，衡量模型的能力，重点正转向算力的分配与使用效率。（本文系钛媒体APP首发稿件，作者：AGI-Signal，编辑：秦聪慧）
免责声明：本文内容整理自公开报道，AI 产品动态与进展以官方发布为准，仅供参考，不构成任何投资建议。
发表评论 取消回复