离开谷歌27小时后，杰夫·迪恩在斯坦福说了什么

离开谷歌仅12小时，杰夫·迪恩就站上了斯坦福的讲台。这场离职后的首度公开访谈里，他复盘了MoE、TensorFlow、Gemini背后的技术判断，也解释了自己为什么要离开27年的大厂，去一家只有十个人的公司——把实验从几天压缩到几分钟，让AI真正参与科学发现。

什么样的技术值得押注十年

迪恩的判断标准一直很明确：看重能带来数量级提升的技术。十年前，MoE（混合专家）带来的约10倍效率改善，让他意识到这可能是一项有长期影响力的工作。背后的直觉并不复杂——模型可以有非常大的容量，但每个Token不必承担全部计算成本。于是设计出模块化架构，让不同的“专家”各司其职，处理具体Token时只激活真正有用的部分。这有点像人脑：思考莎士比亚的十四行诗和躲避倒车的大卡车，调用的神经回路本来就不一样。

回看更早的历程，2011、2012年前后，谷歌开始做大尺度深度学习，训练的神经网络比此前大约50倍，效果立刻显现：图像分类错误率大幅下降，语音识别突飞猛进——仅仅扩大一个相对简单的深度声学模型，带来的语音识别改善，就大致相当于此前20年研究成果的总和。迪恩觉得，深度学习真正了不起的地方，是把过去各成体系的领域放进了一套统一的学习范式里，如今这套范式已经渗透进医学、科学研究和消费产品。

TensorFlow：做对了什么，又留下了什么遗憾

TensorFlow的前身是谷歌内部系统DistBelief，可以把神经网络计算映射到CPU、GPU等不同硬件上做分布式计算。研究人员只需声明“我要用100台机器、1600个内核或者500块GPU训练这个模型”，底层系统负责具体实现。TensorFlow延续了这个思路：研究人员不用关心模型如何映射到硬件，只要描述想做的机器学习计算；开源同样重要，论文附上代码，别人可以直接复现，而不是照着文字重新实现。

但回过头看，TensorFlow也留下了一些遗憾。一是没有从第一天就支持eager execution（编程执行模式），后来PyTorch和JAX采用了这种方式，TensorFlow才补上。二是contrib目录——允许社区贡献大量辅助库，结果同一件事出现了很多种做法，有时甚至有十种方式完成同一个任务，用户很难判断标准答案。如果重新设计，迪恩说他会让核心保持小而稳定，让生态建立在核心之上。

Gemini：一页备忘录催生的多模态模型

Gemini其实是几个早期研究项目的结晶。当时Google Brain、DeepMind和Google Research的一些团队都在研究模型扩展和多模态能力，迪恩写了一页备忘录，认为大家已经趋向同一个方向，应该把人员、想法和计算资源合到一起，从头训练一个多模态模型。他和长期同事奥里奥尔·维尼亚尔斯共同推动了这项工作，一个重要决定是让Gemini从一开始就具备多模态能力：理解文本、语言、代码、图像、视频、音频，训练数据里甚至加入了激光雷达数据。

另一个经验来自编码。Gemini早期在编码能力上的投入有些落后，后来专门加强了这一方向——因为写软件要求模型理解目标、拆分问题、执行步骤、检查结果、根据失败重新迭代，编码能力提升后，模型在不少非编码任务上的推理能力也会跟着改善。

AI能改进AI吗？这事其实已经干了很多年

用机器学习改进机器学习，在业界早有先例。迪恩的联合创始人Quoc Le等人很早就做过神经架构搜索：让模型生成机器学习架构，再评估学习速度、训练成本和最终质量，模型拿到反馈后继续生成新架构，逐渐学会哪些设计更有效。后来的Evolved Transformer更是在进化算法帮助下，找到了一种比原始Transformer高效约30%的架构。

把机器学习系统拆开看，数据选择、评估方法、模型架构、训练算法，每个环节都可以建立自动化改进的循环；把这些循环连起来，就是一个让AI参与整个研发流程的大系统。现代科学和工程其实一直遵循同样的模式：把大问题拆成子问题，逐个提出方案、实现、跑实验、评估、把反馈传回下一轮。科学方法的循环，本身就是可以被自动化的对象。

为什么非要离开谷歌，去一家小公司

这正是Discovery Loop要做的事——一家公益公司，几个人以不同组合合作了14到30年，参与过MapReduce、BigTable、Spanner、TensorFlow、模型蒸馏和模型架构等项目。公司的目标，是自动化机器学习以及更广泛的科学和工程研究，提高不同领域的发现速度。科学研究的一个重要限制是实验循环太慢：如果一个实验原本需要一周，能压缩到一小时，同时并行跑数千个实验，变化会非常大；如果系统还能根据实验的预期价值和计算成本决定下一步跑哪些实验，就形成了持续迭代的研究循环。

为什么以一家小公司而不是谷歌内部项目的形式来做？迪恩的回答很直接：小团队的优势在于专注。十个人围绕同一个使命工作，可以减少大型组织里的干扰。云计算也改变了创业的入场条件——过去前沿AI必须自己建设庞大的计算基础设施，现在小公司筹到钱就能直接用云平台的大规模算力，把精力放在真正想解决的问题上。

风险、监管，以及他给年轻人的建议

谈到智能体的风险，迪恩认为网络安全是典型的双重用途领域：AI既能帮防御者发现大量安全漏洞，也能被恶意用户拿去利用漏洞。模型可能发现人类防御工程师都没发现的漏洞，攻击和防御双方都会拿到更强的工具。单靠模型本身的技术限制并不够，法律、责任和监管同样要参与进来——入侵计算机系统本身已经违法，社会还需要进一步明确哪些行为不可接受、该承担什么责任。

至于AI对社会的更广泛影响，他和John Hennessy、Dave Patterson等人早年做过一项工作，梳理了七个可能产生重大影响的领域，其中不少是积极的（医疗、教育），也有一些更复杂（岗位替代、地缘政治风险、计算机安全）。他们还建了个网站shapingai.com，想把这些问题放到更广泛的社会背景里讨论。迪恩给学生的建议也很有意思：与其把一篇论文读得特别细，不如快速浏览十篇、甚至看一百篇摘要——你需要建立一张关于“可能性”的地图，因为很多重要创新来自不同想法之间的连接。

他并不回避离职带来的市场反应：“我不会把任何一天的股价变化归因于某一个人的离职。”他在谷歌工作了27年，对那里有很深的感情，也相信谷歌团队和Gemini的未来。走出来让人紧张，但同样令人兴奋——十个人坐在同一个办公室里，所有人都盯着同一个使命，可以快速做决定、快速尝试。云计算让这件事第一次变得可行，而他决定试一试。