OpenAI前首席科学家Ilya Sutskever：规模神话的终结，回到研究时代

 文   《管理视野》  

他的出现本身就是新闻

2025年11月25日，Ilya Sutskever出现在Dwarkesh Patel的播客中。

这本身就是新闻。

自从2024年离开OpenAI、创立Safe Superintelligence (SSI)以来，Ilya几乎从公众视野中消失。他的新公司融资30亿美元、估值320亿美元，却几乎没有任何公开信息。没有产品发布，没有技术博客，没有社交媒体上的只言片语。

所以当这期长达96分钟的访谈上线时，整个AI研究社区都停下了手头的工作。

Dario Amodei（Anthropic CEO）在社交媒体上宣布这是“Ilya播客日”，并开玩笑说这足以成为请病假的理由。

这场对话没有让人失望。Ilya对当前AI发展的判断，比任何公开声明都更坦率、更深刻、也更令人不安。

开场：科幻照进现实

对话以一个近乎哲学的观察开始。

Ilya：“你知道什么是疯狂的吗？这一切都是真的。”

Dwarkesh：“什么意思？”

Ilya：“这些AI的东西，这些湾区正在发生的事情……难道不觉得像是科幻小说照进现实吗？”

Dwarkesh指出另一件疯狂的事：我们正在把GDP的1%投入AI，但这感觉如此……正常。没有人觉得这是什么大事。

Ilya的解释很简单：“我们适应得很快。而且目前这一切还很抽象。”

你在新闻里看到某某公司宣布了某个难以理解的天文数字投资。然后呢？然后就没有然后了。你的日常生活没有任何改变。

但Ilya不认为这种“正常感”会持续下去。

“AI会渗透到经济的每一个角落。会有非常强大的经济力量推动这件事，每个人都会非常强烈地感受到它的影响。”

问题是：什么时候？

最令人困惑的现象：评测与现实的鸿沟

Dwarkesh问了一个很多人都在想的问题：模型看起来这么聪明，为什么经济影响这么滞后？

Ilya的回答揭示了他对当前AI的核心困惑：

“这是目前模型最令人困惑的事情之一。如何调和这个事实——它们在评测上表现得如此之好？你看那些评测，会想，‘这些是相当难的题目啊！’它们做得很好。但经济影响似乎大大滞后。”

然后他举了一个具体例子，任何用过AI编程助手的人都会立刻认出来：

“比如说你在用vibe coding做什么东西。你遇到一个bug，然后告诉模型，‘你能修一下这个bug吗？’模型说，‘天哪，你说得太对了。我有一个bug。让我来修。’然后它引入了第二个bug。

你告诉它，‘你现在有了这个新的第二个bug。’它说，‘天哪，我怎么会这样？你又说对了。’然后它把第一个bug带回来了。你可以在这两个bug之间无限循环。

这怎么可能？”

Ilya承认他不确定答案，但提出了两个可能的解释。

解释一：强化学习让模型“太过专注”

第一个解释有点“玄学”：

“也许强化学习（RL）训练让模型变得太过于一心一意、狭隘聚焦了，太缺乏觉察力——尽管它在其他方面又变得更有觉察力。”

这是一个微妙的观察。强化学习让模型在特定任务上变得极其强大，但可能也让它们失去了某种更宽广的视野——那种让你能注意到“等等，我是不是在两个bug之间来回跳”的认知能力。

解释二：人类研究者才是真正的“奖励黑客”

第二个解释更加犀利，也更有启发性。

在预训练时代，“用什么数据”的问题有一个简单的答案：所有数据。你不需要思考取舍。

但在强化学习训练时代，你必须选择。你需要设计训练环境，决定用什么任务来训练模型。

“据我所知，所有公司都有团队在不断生产新的训练环境，然后加入训练组合。问题是，这些环境是什么？有太多自由度了。"

然后Ilya指出了一个关键洞察：

“人们会从评测中获取灵感。你会说，‘嘿，我希望我们发布模型的时候评测成绩很漂亮。什么样的强化学习训练能帮助提升这个任务的表现？’我认为这种事情正在发生。”

Dwarkesh精准地总结了这个逻辑：

“我喜欢你的这个想法：真正的‘奖励黑客’其实是那些过度关注评测的人类研究者。”

这是一个深刻的批评。当整个行业都在追逐基准测试的分数时，我们可能正在系统性地训练出一种特定类型的“聪明”：能在考试中拿高分，但在真实世界中处处碰壁的聪明。

两种学生的比喻

为了让这个观点更具体，Ilya用了一个精彩的比喻。

假设有两个学生要学竞赛编程：

学生A决定要成为最好的竞赛程序员。他练习了10000小时，做遍了所有题目，背熟了所有证明技巧，能够快速正确地实现所有算法。他成了顶尖高手。

学生B觉得“竞赛编程挺酷的”，练习了100小时，也表现得相当不错。

“你觉得哪个学生在职业生涯后期会更成功？”

答案显然是学生B。

“我认为这基本上就是目前正在发生的事情。模型更像是第一个学生，甚至更极端。“

因为训练者会说：模型应该擅长竞赛编程，所以让我们收集所有竞赛编程题目，再做一些数据增强生成更多题目，然后用这些来训练。

结果呢？你得到了一个很棒的竞赛程序员——所有算法和证明技巧都信手拈来。但正因为这种程度的准备，它不一定能泛化到其他事情。

Dwarkesh追问：“那第二个学生的‘底子’到底是什么？ 是预训练吗？是进化给的先天结构吗？还是别的什么？”

Ilya：“我认为他们有‘那个东西’（it factor）。那种‘天赋因子’。我本科的时候认识这样的学生，所以我知道有这种人的存在。”

情感在决策中的作用

后来，对话进入了一个意想不到的领域——情感在决策中的作用。

Ilya讲述了一个他读到的神经科学案例：

“有一个人因为中风或事故，大脑中处理情感的部分受损了。他不再感受到任何情感。

他仍然很能说会道，能解决小谜题，在测试中表现正常。但他不感到悲伤，不感到愤怒，不感到激动。

他变得极其难以做任何决定。比如，他会花好几个小时决定穿哪双袜子，做出非常糟糕的财务决定。”

这个案例揭示了什么？

“我们内置的情感在让我们成为一个有效的决策者方面，扮演着什么角色？”

在机器学习的语言中，情感可能就是人类的价值函数——那个在你做决定时告诉你“这个中间状态是好还是坏”的东西。

没有价值函数，你必须等到最终结果出来才能学习。有了价值函数，你可以在过程中就得到信号。

比如下棋——你丢了一个棋子，立刻就知道“我搞砸了”。你不需要下完整盘棋才知道哪一步是错的。

“价值函数让你能够缩短那种‘等到最后才知道结果’的过程。”

而人类的价值函数——情感——有一个惊人的特性：它极其稳健。

人类的情感系统在极其多样的环境中都能正常工作。一个学开车的青少年，在没有外部老师的情况下，能够自我纠正和学习。他是怎么做到的？

“答案是他们有自己的价值函数。他们有一种普遍的感觉……无论人类的价值函数是什么，除了少数关于成瘾的例外，它实际上非常非常稳健。”

核心问题：人类为什么泛化得更好？

对话逐渐聚焦到一个根本性问题：

“这些模型在泛化能力上显著地、戏剧性地比人类差。这太明显了。这似乎是一个非常根本性的问题。”

Ilya区分了两个子问题：

1. 样本效率：为什么模型需要比人类多得多的数据才能学会东西？

2. 可教性：为什么教模型某个东西比教人类难这么多？

对于人类，你不需要设置一个可验证的奖励来教他们。你在指导研究者的时候，只是和他们交谈，给他们看你的代码，展示你的思维方式。他们就能从中学到你的思考方式和研究方法。

“你不需要给他们设一个可验证的奖励，说‘好的，这是课程的下一部分，现在这是课程的下一部分。哦，这次训练不稳定。’没有这种烦琐的、定制化的过程。”

你可能会说，也许是进化给了人类某种先验知识。对于视觉、听觉、运动这些能力，这个论点很有说服力——我们的祖先确实需要这些能力存活了几百万年。

但数学、编程呢？这些技能直到现代才存在。

“如果人在一个直到最近才存在的领域也展现出了卓越的能力、可靠性、稳健性和学习能力，那这更像是一个迹象，表明人类可能就是拥有更好的机器学习。”

当Dwarkesh问如何用机器学习的类比来理解这种能力时——更少的样本、更无监督、更稳健——Ilya的回答出人意料地坦率：

“这是一个很好的问题，也是一个我有很多想法的问题。但不幸的是，我们生活在一个并非所有机器学习想法都能自由讨论的世界。”

“我们回到了研究时代”

对话进入了最具冲击力的部分——关于整个AI产业方向的判断。

“这是一个可能有些争议的说法——大概20%的研究者会不同意，但可能不超过这个比例——我们对预训练规模定律的理解，有点像古代英国人或古埃及人对太阳的理解。

他们能测量得极其精确，金字塔的东西轴完美对准春分点，巨石阵的东西轴也是如此。测量精度惊人。

但他们完全不理解轨道力学。他们不知道太阳为什么东升西落。”

规模定律也是如此——我们测量得精确，但不理解原理。

然后Ilya提出了一个让整个科技圈都为之侧目的判断：

“从2012年到2020年，是研究时代。从2020年到2025年，是规模时代——可能有正负误差——因为人们说，‘这太神奇了，你得扩大规模。继续扩大。’一个词就是：规模（scaling）。

但现在规模已经如此之大，我们真的相信，如果再增加100倍，一切就会被彻底改变吗？

会有所不同，当然。但我们真的相信只要增加100倍规模，一切就会被彻底转变吗？我不认为如此。

所以，我们回到了研究时代。不同的是，我们现在用了更厉害的计算机。”

这不是一个边缘观点。这是来自OpenAI联合创始人、首席科学家、深度学习革命核心推动者的判断。

当规模带来的边际收益递减，当花10倍的钱只能得到1.1倍的提升，你就必须回到实验室，回到白板前，回到那个“让我们试试这个，试试那个”的时代。

SSI的计划：直接射向超级智能？

Dwarkesh问了一个很多人都想知道的问题：SSI到底在做什么？

Ilya的回答既坦率又留有余地：

“我描述的方式是这样的：有一些我认为有前景的想法，我想调查它们，看看它们是否真的有前景。就是这么简单。这是一次尝试。”

SSI最初的计划是绕过所有中间产品，直接研发超级智能。这样做的好处是：

“不参与市场竞争的日常竞争是非常好的。竞争相当困难，因为它让你面临需要做出的艰难权衡。能够把自己隔离开来，只专注于研究，只有在准备好的时候才出来，而不是之前——这很好。”

但Ilya承认，他的想法已经发生了变化。

“有一件事真的很难做到：感受AGI。我们可以谈论它，但想象一下讨论变老和虚弱是什么感觉。你可以讨论，可以尝试想象，但很难，然后你回到现实，那里并非如此。”

“我认为AGI和它未来的力量的很多问题，都源于它非常难以想象。”

所以，也许需要让人们真正看到强大的AI。不是读一篇论文说“AI会变成这样那样”，而是真正看到AI在做这个、做那个。

“这是无可比拟的。”

这意味着SSI可能会改变计划，在到达最终目标之前就发布一些东西。

研究品位是什么？

在播客的最后，Dwarkesh问了一个关于“研究品位”的问题——Ilya被广泛认为是AI领域品位最好的研究者之一，从AlexNet到GPT系列，他参与了深度学习历史上几乎所有重大突破。

“什么指引着我个人，是一种关于AI应该是什么样子的美学——通过正确地思考人类是什么样子。”

正确地思考，这是关键。很容易错误地思考关于人类的事情。

“人工神经元的想法直接受到大脑的启发，这是一个很棒的想法。为什么？因为你说大脑有所有这些不同的器官，有这些褶皱，但褶皱可能不重要。为什么我们认为神经元重要？因为它们的数量很多。感觉是对的。”

然后是分布式表示的想法。大脑对经验做出反应，因此神经网络应该从经验中学习。

“你有点在问自己，这个东西是根本性的还是非根本性的？事物应该是什么样子。我认为这一直在相当大程度上指引着我。

从多个角度思考，寻找美——美和简洁。

丑陋是不行的。必须是美、简洁、优雅、对大脑的正确灵感。所有这些东西需要同时存在。它们存在得越多，你对一个自上而下的信念就越有信心。”

“自上而下的信念是什么东西支撑你——当实验与你矛盾的时候。”

时间线与收尾

在被问到超级智能的时间线时，Ilya给出了一个范围：

“5到20年。”

这比很多硅谷的预测保守得多——Sam Altman说2030年前达到超越人类的智能，Elon Musk说可能就在今年或明年。

但从另一个角度看，10-15年达到超级智能，这仍然是人类历史上最剧烈的变化。

“这仍然是一个非常乐观的时间线，只是与当前的炒作相比才显得不那么乐观。”

这场对话告诉我们什么？

如果说Gavin Baker的播客是从资本和产业的角度理解AI，Ilya的这场对话则是从技术和认知的角度。

他的核心信息可以归纳为几点：

1. 规模不是答案——至少不再是唯一的答案。我们正在从“扩大规模”回到“做研究”。

2. 当前模型有根本性缺陷——泛化能力不足是核心问题，评测成绩和真实世界表现的鸿沟令人困惑。

3. 人类有某种我们尚未理解的东西——可能与情感/价值函数有关，可能与学习机制有关。理解这一点可能是通往真正智能的关键。

4. 超级智能可能不是你想象的样子——不是一个全知全能的神，而是一个学习能力超强、能在世界中不断进化的存在。

5. 展示比讨论更重要——让人们真正看到强大的AI，可能是推动社会适应的最好方式。

对于那些正在考虑AI投资、产品或战略的人来说，这场对话最重要的信息可能是：不要只看基准测试的分数。

·下一篇·

特斯拉前AI总监Andrej Karpathy

——为什么说AGI还需要十年

当OpenAI创始成员、特斯拉前AI总监说“AGI还需要十年”时，他用一个叫“九的进军”的概念解释了为什么，而这个概念可能会改变你对所有AI进度报告的理解方式。

排版丨刘蕊绮

编辑审校丨宋朝阳

部分插图由AI生成