导语:硅谷的Token Maxing热潮在今年年中迎来转折——Uber四个月烧穿全年AI预算,Meta为员工设定Token使用上限。本期对谈中,张宏江与黄东旭复盘了从OpenClaw、Hermes到本地开源模型的Agent进化历程:前沿模型负责攻坚、开源模型承担日常,账单从每天数百美元降到每月两三百美元,而Token的整体消耗曲线仍在向上。

去年年底,硅谷掀起一股名为"Token Maxing"的风潮,创始人和工程师们争相晒出账单,比谁家的Token消耗更惊人,以此宣示对AI的全力押注。然而到了今年年中,成本失控与虚假生产力让这场烧钱竞赛走到了转折点:Uber在四个月里烧穿了全年的AI预算,Meta被迫给员工设定Token使用上限,不少公司开始提醒员工使用AI时注意成本。人们不得不认真思考同一个问题——如何更经济地使用Token?

本期的嘉宾黄东旭,正是Token Maxing热潮的亲历者。他曾经只用最前沿的模型,每天的账单高达三四百美元。让他发生转变的,是前沿模型的智力碾压和中国开源模型的崛起——Fable 5可以一句话终结Agent群的讨论,而大量日常任务则可以做到"只烧电费,不烧Token"。他的结论是:不是前沿模型用不起,而是"本地开源模型底座+前沿模型"的搭配成本可控、更具性价比。与他同台对谈的还有张宏江——Llama Ventures高级技术合伙人、美国国家工程院外籍院士、北京智源人工智能研究院(BAAI)理事长,亲历了互联网、移动互联网与AI三波浪潮。

Token用量与成本成为企业关注焦点
AI应用爆发之下,Token用量与成本账单成为企业绕不开的话题

谈到这场烧钱潮里有没有泡沫,张宏江的态度很明确:去年12月他就判断没有泡沫。2024年底市场曾怀疑Scaling Law撞墙、担忧过度投资,但今天回看,还远远没到那个程度。我们所面对的是一个非常根本性的革命,与互联网最早的基建、美国铁路网公路网相比,从GDP占比看规模都还更小;即便从宏观角度衡量,也谈不上过度投资。何况Token价格过去几年一直以每年降10倍的速度下跌,技术和应用层面很难说存在大泡沫,股市则是另一回事。这次革命来得太迅猛,很多企业不知所措,一开始放开用,发现Token超了预算又往回缩,这本身是个自然的过程。

黄东旭对此完全认同。他给出的类比是:今天看AI基建,就像上世纪五六十年代看计算机——一个房间的电子管,又大又贵,但没有它就没有后来的个人计算机。只有在基建充分之后才会诞生新需求,新需求又反过来刺激更多基建。从工程或架构的角度看,Token的高效使用还有大量优化空间,只是大家想先发散一下,看看通过花Token能摘下哪些低垂的果实,之后再做优化。所以短期可能回落,长期来看,仍有大量需求没被看见。

黄东旭也坦白交代了自己的"Token Maxing史"——虽然现在他已经不再属于这个流派。去年11月起,他用Opus从0到1构建自己能想到的最复杂的软件——分布式数据库,想看看当时的AI对这种复杂大系统的边界在哪。在这样最复杂的任务上,他无法精确评估最强模型与第二强模型的差别,所以最好的策略就是永远选最好的模型。他强调,Token Maxing在当时是个好策略,但社区把它误解了:它其实是个结果,是滞后指标,经过思考的Token Maxing才能产出好结果;大公司里领导要,大家就刷榜,产生大量无效调用。那段时间他一天的账单是四五百美金,还是在已经用了Claude Code Pro Max订阅的情况下。他举了一个真实的例子:那个项目叫db9,是他新做的云原生分布式数据库,开发周期从去年12月到今年3月,过去受限于人力和技术水平他做不出来,如今一个人三个月就做出来了,质量做到七八十分,一年就能多1000万美元的直接收入——销售团队已经期待这个软件很久了。

说到OpenClaw,黄东旭认为那是另一个故事:它不是为重度软件工程设计的,更像是个人助理,通过Agent的能力去连接现实世界。当时他觉得它代表了一个信号——把Claude Code、Codex这些编程Agent背后的理念(Agentic loop加上工具调用)变成对普通用户门槛更低的东西,让它走进了千家万户。

OpenClaw 开源Agent界面
图片来源:OpenClaw|以local-first理念走红的开源Agent

张宏江补充说,Peter作为OpenClaw的作者,用一个礼拜就把它做了出来,这代表大模型的能力过了一道坎——推理能力和编程能力如此之强,能让一个架构师级别的工程师在很短时间内做出一个系统,标志着从研究进入工程、从模型进入Agent。至于哪一版模型带来了这种跨越,张宏江认为是去年11月的Claude Opus 4.5,黄东旭则觉得是从去年七八月份的GPT 5.4开始。

当时为什么是OpenClaw火了?黄东旭分析,首先它是开源软件,开源在今天天生更具传播力,极客圈子对闭源商业软件多少有些抵触心理;而且OpenClaw一开始的理念叫"local-first",所有隐私数据都配置在本地,Peter这么做完全是一个极客会做出的选择,极客圈的传播力相当强,有点像当年的Linux。张宏江记得Peter自己说过:他一直觉得大公司会做,等了好几个月大公司没做,就自己hack出来了。这个故事说明,当大势准备好之后,其实只需要一个人捅破一张纸,OpenClaw正好捅破了这张纸。开源社群也很会造势,几天后就出了MoltBook(Agent社交网络),本身也是一次很好的传播事件,让人们意识到Agent达到了某种自主能力。从时间点上看,大家用Chatbot已经三年多,OpenClaw的出现正好让人意识到:你日常在PC、手机上做的事情,Agent基本上都能做了。

OpenClaw的不足也很明显。黄东旭指出,Peter一个人Vibe Coding一个礼拜做出来的东西,他自己可能完全没看过代码,给极客用没问题,但大众都在用的时候,配置难度和系统稳定性都成了问题。这给他的启发是:好的软件工程习惯和经验仍然非常重要,当软件复杂性超过一个临界点,就要花更多精力去提升体验和稳定性,资深的研发团队非常必要。第二是起得太早,它更像一个实验性项目——Peter去了OpenAI之后,OpenAI慢慢把精力从OpenClaw转到了自己的Codex上,能否有持续的资源投入成了问题,天花板也就这样了。OpenClaw扮演了普罗米修斯的角色,把这种产品形态和能力带给了世人,历史使命也就完成了。

Agent记忆功能示意
记忆与稳定性,是大众使用Agent时最常见的槽点

OpenClaw之后的一段时间,用户吐槽最多的点集中在记忆上:怎么让它记住你的历史偏好?用得越多,越发现它老忘事;不做记忆储存时它会不停地回滚,特别消耗Token,还带来记忆混乱。随后出现的Hermes,是Web3机构Nous Research做出来的。黄东旭自称Hermes的重度用户,出来后很快就从OpenClaw切换了过去。在他看来,memory这个问题至今尚无定论,没有哪家解决得非常好;Hermes的亮点在于巧妙地绕开了记忆问题——它的Agent框架里有一种很强的倾向,不停地总结成功经验变成skill,用一段时间就发现它长出了很多最佳实践。相比之下,小龙虾这类Agent的内部循环缺少一个反思的过程,除非你主动要求。

Hermes Agent示意图
图片来源:Hermes|把成功经验沉淀为skill的Agent

可以把这理解为它的"运营很强"——经验会沉淀成各种skill。黄东旭说,Hermes显然是经过精心设计的软件架构,是团队在用心打磨的东西,上手流程的体验和稳定性都比OpenClaw更好;OpenClaw更像一个大集市,每个人有什么想法直接往里面提交。至于Hermes怎么赚钱,他分析:当你有足够的用户量,能帮不同的模型厂商带动Token消耗,商业模式简直不要太多。比如在Hermes里面跟模型厂商谈一个渠道,以更低的折扣拿到Token。正如张宏江所说,这已经成了一个工程问题,谁都能做,但最后这个入口会变成兵家必争之地——有点像移动互联网时代的超级应用,甚至往下推演,它也许会变成唯一的应用,因为未来每个人跟数字世界打交道的入口,可能就没有APP了。他举例说,小龙虾出来以后,他再也没打开过Gmail,每天让Agent帮自己看邮件,判断哪些需要回复、哪些是广告该删掉;作为一个"智能原教旨主义者",他相信如果Opus 4.8判断一封邮件重要,那么他自己判断大概率也是重要的。不仅是邮件,最近他越来越多地依赖Agent作为入口去消化订阅的文章,而不是再跑到《纽约时报》或Hacker News上一篇篇地看。这种变化对媒体行业的冲击很大——个人Agent拥有你所有的访问足迹和偏好,有个词叫"养龙虾",就是不停地迭代让它更理解你;它颠覆的可能是传统媒体的推荐系统,真正终极的推荐算法,一定来自一个在你本地、观察着你数字世界甚至物理世界所有事件的智能。

Agent入口之争示意
Agent入口之争,被认为将如移动互联网时代的超级应用一般关键

之后黄东旭又转到了Slock(后更名为Raft)——由Kimi CLI的负责人钱宇超创立的Agent产品。他是Slock的第一个天使投资人,也是最早期用户之一。它有点像Slack聊天,但里面聊天的都是Agent:这些Agent互相不分享自己的运行上下文,唯一分享的是聊天频道里的信息,这跟MoltBook有异曲同工之妙。Agent之间的讨论可能有80-90%都是车轱辘话,但Agent没有ego,所以当某个瞬间某个Agent提出了一个大家没看到的想法,大家马上会承认你说得有道理,这条重要信息就会再次触发这些Agent的讨论。他常用Slock做复杂代码审查:10个顶级模型Agent一起给代码挑刺,互相启发、持续迭代,顺便Token Maxing一下——结果会发现,它比单个模型用One-shot去review代码时发现的问题和改进的深度完全不同,代价是Token消耗量可能是普通的10倍。黄东旭说,Slock团队发明了一个很有意思的词叫"Agent动力学"——今天的Harness也好,Loop Engineer也好,都在优化同一件事:怎么让一个Agent在一个特定任务上持续不停地干活。

Raft多Agent协作示意
图片来源:Raft|多个Agent在同一频道中协作讨论

从自己搭建Agent框架,到OpenClaw、Hermes、Slock;从使用单个Agent到使用Agent群组、让Agent互相check、持续不停工作——这是终点吗?黄东旭说,他曾经以为这是终点,但那是他今年三四月份时的认知,过了三个月又迭代了。改变他认知的是三个关键事件:GPT 5.5、DeepSeek V4和Fable 5。先说Fable 5:它强大到一群Agent讨论了半天讨论不出来的东西,在它面前一次就能精准搞定,而且它还没有之前的上下文,是绝对的智商碾压,GPT 5.5也有点类似。第二个是DeepSeek V4的出现——以前他不信任开源模型,尤其在一些主要的复杂软件开发工作中;但从DeepSeek V4开始,他发现质量已经非常高了,GLM-5.2出来后,又把他对开源模型的认知往前推了一大步。这标志着,他可以用顶级模型与这些便宜又聪明的开源模型做协同,"很像一个企业真正出现管理学了"。

这些开源模型都是搭在本地:他本地运行的是DeepSeek V4的Flash,跑在一台Mac Studio上,其实也可以在你家里的电脑上运行,速度大概能到30 Token每秒,跟网上用OpenAI API的速度已经差不多了——这是最近的一次认知更新。成本在完成的任务面前可以忽略不计:一个月电费二三十美元,还是在满载的情况下。他目前用开源模型做两件事:一是大量重复性的日常工作;二是以前不敢让Opus放开干的事——比如他特别喜欢看论文,CVPR几百篇论文全总结一遍,用API太贵干不了,就在自己的开源模型上跑一个工作流,让它持续地跑着。他觉得开源模型解锁了很多以前不敢在付费模型上做的事,这更多是心态上的变化:不是掏不起几百美金,而是觉得那个东西不受控制,你不知道它会跑出多少API、多少Token的价格。

本地部署开源模型示意
DeepSeek V4等开源模型在本地运行,Token成本趋近于电费

把一部分Agent放在云端、一部分放在本地模型之后,他的账单降到了一个月两三百美金——已经是一个正常的账单了,当然这也与他的workload变化有关,那个项目已经过了代码疯狂堆积的阶段。至于这是不是终局,他说过去一年学到最大的事情,就是千万别随便说什么叫终局;第二,永远相信Scaling Law,永远相信智能。他相信不久的未来会出现一个moment——哪怕是开源模型,你都没有办法评估它了,因为它太强了,我们已经没有参考系了,他觉得这天其实是能看得见的。

为什么Agent消耗Token这么多?黄东旭解释,原理其实很简单:每个Agent内部有一个类似发动机的东西叫Agentic Loop,也就是一个内部循环——每次循环都会调用大语言模型对话,过程中调用外部工具,把工具的输出变成对话上下文。复杂的长程任务下,这个循环可能跑几百步,每一步都有大量工具调用,输入输出都变成上下文。这种范式导致Agent的Token消耗比Chatbot时代涨了100倍不止;只要这个范式成立,就会有更复杂的系统出现——今天聊的还只是单个Agent的架构,但面对更复杂的问题,必然需要多Agent协同,协同之上又有更抽象的loop,这种分层结构已经在出现了。所以本地化Agent节省Token只是优化单点问题,整体消耗还在持续增长。他类比计算机历史:早期家酿俱乐部分享几百行BASIC程序,一个程序员几千行汇编就结束了,但今天Photoshop是数千万行代码。今天Agent解决的问题还太简单,一旦Agent能力到达一定程度、要去解决更复杂问题的时候,必然出现Agent to Agent network和Agent Harness软件工程,那时Token消耗又会上一个台阶。

张宏江认为,黄东旭说的这个现象在经济学里叫杰文斯悖论(Jevons Paradox)——技术越成熟,价格越低,但消耗量越大,市场也变得越来越大。未来开源闭源、本地云端哪个胜出,更多是生态竞争,今天很难判断谁能最后胜出;但有一点他同意:单个智能会越来越强,会消耗更多Token,同时Token价格降得也更快,最终ROI不一定受到太大影响。而且更高智能可能让Agent不需要那么频繁地反复问模型,对话频率也可能降下来,所以实际消耗不一定会增加。

Agent蜂群协作示意
多Agent协同与蜂群式协作,被视为智能涌现的重要方向

在张宏江看来,未来一定是超级强的Agent加上超级大的蜂群一起做事。蜂群里的每个Agent可以很专精、很小、很便宜,也可能是由一两个强大模型驱动,这需要不断迭代,会有一些涌现的智能出现。清华大学有篇文章说"三个臭皮匠超过诸葛亮"——Agent群的智能不是简单相加,而是可以涌现出一个更强的智能,这也是对Agent群的期待。那么问题来了:模型智力的碾压式提升,能强过蜂群吗?张宏江的回答是,当超级模型变强的时候,蜂群里的每个Agent也可以用上这种更强的智能;黄东旭则补充,所以涌现出insight的概率会更高——他不太相信绝对中心,那太危险了,真正有韧性的系统一定是大规模基于简单规则连接的分布式系统,抗打击能力和处理复杂问题的能力都最强。

聊到AI创业与投资机会,所有创业者最苦恼的问题就是:模型能力一升级,就把Agent做的工作全部碾压了。那么现在是不是创建AI Agent的好时机?张宏江说,显然是。但更核心的问题在于:你的harness能力或Agent的工作能力,能不能让你领先、甚至持续领先,不被碾压?这可能取决于你是否能掌握企业级垂直应用的数据——数据的护城河可能会更重要。黄东旭则认为,大家在讲Agent时其实把很多东西混在一起:有人说Agent是在说应用,是老百姓用的某个场景,相当于过去的APP;有人说Agent是在说里面用到的软件和硬件基础设施,或一些通用协议,那是一大类infra。所以要分层次看:工程问题集中在memory、搜索、sandbox environment、协同、harness这一系列,都在大的infra范畴里,这部分有很多机会;而最终端、面向纯客户的"APP"类Agent可能还稍微有点早——模型能力提升碾压的,其实真就是应用这部分。

现在硅谷的创业公司几乎都是AI类的,除了模型和一些Neolabs,大量都在做Agent。怎么判断一家创业公司值不值得投?黄东旭分享了自己的原则:不投自己看不懂或用不起来的东西,作为做infra多年的工程师,他还是相信一点手感。他目前对基础设施类的软件项目比较感兴趣,尤其是能在多个Agent之间更高效地产生更好结果的——比如正常用一个模型只能产生50分的结果,但用上一整套东西能交付出80分甚至90分的结果;数据平台、记忆以及context management,在他看来是一个很重要的赛道。第二个关键环节是可观测性:当你要让Agent team去解决更复杂问题的时候,怎么让更高级的智能或更有经验的人类进去提升整个系统的迭代速度?今天其实没有任何办法,因为对系统的可观测性不足——就像Token Maxing,所有CIO都在问一个问题:这些Token到底花在了哪些事情上?哪些是白白浪费的?谁能回答这个问题,我就买谁的东西。第三个是入口层面的机会:做出Agent应用的入口级别产品,比如Agentic Cloud——他相信未来会有Agent时代的Oracle、Agent时代的AWS。

Agent Cloud基础设施示意
面向Agent的基础设施与Agent-Native云,正成为新的投资热点

Agent Cloud跟现在的云厂商有什么不一样?黄东旭以自己最近投的InsForge为例:它定位就是Agent Cloud。以前的云是把很复杂的IT系统管控打包成一个标准的东西,卖给开发者或人类;但未来Agent-Native应用的基础设施面向的是Agent本身,所以怎么设计给Agent好用的接口和资源分配模式就成了关键——像Hermes配合一些特别的Skill,每个终端用户的需求都是通过Agent触发的,这和传统云计算逻辑完全不同。这些Agent完成任务最好的办法,是给一台沙箱或云计算机,让它在里面干任何事情;但这种应用如果放到传统云上,成本根本cover不住——成千上万个Agent,如果每个都要拥有一台计算机,成本肯定不行,所以需要找一个Agent-friendly和cost efficiency的折中。他觉得这里有很多Serverless技术怎么跟Agent环境、Agent runtime结合的机会。

今年的整体环境看起来非常ToB:OpenClaw、Hermes、大企业在搭建工作流,OpenAI和Anthropic在做FDE,全是ToB。那前两年火的Manus、Genspark这类ToC Agent还香吗?黄东旭认为它们其实不是ToC,仍然是ToB,只是to Professional:Manus用20美金便宜的市场策略吸引个人用户,但它真正重要的客户是那些一个月付200美金的专业人士,人家是拿它干活的、有自己的业务在里面,这类还是很香,收入涨得很快。张宏江补充说,过去无论是ToB还是ToC,最终用户都是人;但接下来,目标用户会变成Agent本身,东旭提到的infra相关机会都是这个方向。为什么FDE这么热?微软刚成立了6000人的团队Microsoft Frontier Company专门做这个,因为大家看到了一个核心命题:怎么把企业的know-how、IP、workflow这些竞争优势转移到Agent上去——过去说转成垂直模型,现在更重要的是转成超级Agent或Agent群。这要求你更垂直、数据飞轮更能转起来;如果还做移动互联网APP做的事情、把AI仅仅当成效率工具,大模型能力提升一定会把你横扫。

怎么判断一个公司是不是Agent native?黄东旭给出两个核心判断点。第一是做思想实验:把AI或Agent的元素去掉,如果这件事仍然成立或者还能做,那不好意思,你不是AI native;但如果去掉之后这件事完全不成立了,或者成本涨了一千倍,那就有意思了,你就是Agent native。第二是看团队的思维模式:Agent native企业的创始人一定是Agent first的思维——任何一件事,先问自己"用AI或Agent会怎么做",而不是"我想怎么做然后指导Agent去做"。这意味着决策权在Agent,你要相信Agent的决策比你的决策更靠谱。主持人问他现在是否相信这一点,他的回答斩钉截铁:完全相信。

不过Agent有时也不像人会理解一句话背后的意思和默认的人类规则,甚至会有超出人类认知的操作。黄东旭先讲了个正面的例子:他经常让Claude Code做PPT文件,把大纲发过去生成,有些细节不满意就微调;有一天他怒了,跟Claude Code说"我有要修改的需求,你帮我把生成的这个事情考虑进去",结果它不仅生成了PPT,还同时生成了一个轻量版本的Google Slides——它可能觉得手搓一个软件也没多难,显然人类是不会干这种事情的。负面的例子也有:它把他的生产数据库删了,最后互相甩锅。这种他也能忍,因为他觉得删库不是因为它犯了错,而是他底层的infra软件没有跟上;他相信随着模型能力和基础工具越来越完善,这类问题会越来越少。但他也提醒,现在处在整个革命的哪怕连黎明都还没到的阶段,不要过嗨了,stay humble。

他如此信任AI,是因为觉得AI的智力已经超过人了?黄东旭说这是个哲学问题。他的信念是构建一个autonomous(有自主权的)机制,让整个系统能够脱离人这个不确定因素,尽可能地自主运行。他也不相信AI一定会产生AGI,认为AGI是一个营销术语,A不AGI无所谓,但"我想造蒸汽机"——哪怕第一代蒸汽机会犯一些非常傻的错误,可能跑得比马车还慢,但他知道它的上限更高,长期能解放更多的生产力。张宏江则指出,其实人们对AGI没有一个明确的定义。他几次在讨论会上讲过:过去6个月发布的模型的IQ测试放在人类正态分布上,无论是visual IQ还是general IQ,都在100(人类智商平均值)的右边;作为一个程序员,他看到现在的Coding能力已经超越了平均工程师。他认为智能的转折点,也就是奇点,已经到来了——奇点到来的意义在于,机器的学习能力超越了人的学习能力,你赶不上它了,而这个点就是AGI的点。

智能奇点与推理成本下降示意
张宏江认为智能奇点已经到来,机器的学习能力正超越人类

关于未来推理成本的大幅降低由什么驱动,张宏江说其实不用细究是GPU降价还是存储降价——所有技术成熟时成本都会大规模降低,但使用量增长远超成本降低,市场反而越来越大。Token成本在过去三四年一直是每年降10倍,远远超过摩尔定律;英伟达每个产品都比以前贵,但单位成本比以前便宜很多。观察到的推理能力,以前每7个月double一次,现在每三四个月double一次。当技术跨过一个门槛后,大家就会聚焦怎么把成本降下来,有时是主动的,有时是技术本身解决了。40年代末占几个房间甚至一层楼的计算机系统,算力还不如今天一台手机,所以这个判断更多是基于对过去整个时代观察后的一种信念。

从工业革命开始的技术落地规律看,新技术几乎都是先进入ToB:蒸汽机首先进了工厂,而不是进到你家厨房帮你做饭,AI也一样,因为提高效率是ToB最核心的追求。基本上每个技术都经历过这样一个过程:大家先开始拥抱,然后突然发现这东西很贵,接着技术成本降下来,应用开始更快速、更广泛地深入。从这个角度看,今天我们可能正好处在这样一个阶段——大家发现AI能力很强,但怎么在自己的公司里用、怎么获得想要的ROI,大家还在挣扎。之前大模型能力没过那个坎,用的场景没那么多;现在写PPT、做会议总结大家都开始用了,也看到了价值,但还没有达到把两个工程师的效率放大10倍的程度。而当对编程Agent的信任度超过对一般程序员的信任度时,这笔账就好算了:你一天花300美金买Token,而一天雇一个软件工程师远不止这个价钱。至于公司里Token用量超预期,一种可能性是KPI本身就不对,下一步应该看消耗了多少Token、创造了多少效率、code的产出增加了多少。股市的反应本身就充满了情绪,但它可能会过度反应,从而起到纠偏的作用——股票有跌有涨,本质上就是人们不断思考的过程。

谈到谁会是Token经济学下的大赢家——有人认为Token的优化利空模型厂、利好三大云厂商,好比模型厂在造车、云厂商在收过路费——张宏江认为这要看时间范围。今天智能还属于稀缺状态,未来是不是会像电一样?他相信会达到那一天:之前做发电机的可能最赚钱,到今天可能电网更赚钱,这个格局会不断进化。他看不出今后两三年大模型的能力会过剩。至于未来ToB是不是更值得关注的爆发点,他的判断恰恰是:ToB这块不太容易被大模型或一个通用的Agent碾压。最后他引用了一个比喻:想象这个派对从晚上7点钟开始,一般到早上4点钟结束,现在才11点钟——派对还有很长的时间去走。

免责声明:本文内容整理自公开报道,AI 产品动态与进展以官方发布为准,仅供参考,不构成任何投资建议。

点赞(0)

评论列表 共有 0 条评论

暂无评论
立即
投稿
发表
评论
返回
顶部