# Beren Millidge、John Schulman、Charlie O'Neill 对谈递归自我改进离我们还有多远 - 来源：Dwarkesh Patel：Podcast & Blog（RSS） - 作者：Dwarkesh Patel - 发布时间：2026-09-12 00:28 - AIHOT 分数：66 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.news/items/cmtx7e9sn09mmroedph6hkyx4 - 原文链接：https://www.dwarkesh.com/p/john-beren-charlie ## 精选理由 三位一线研究者就递归自我改进的技术瓶颈、蒸馏与RL环境壁垒、参数规模趋势给出具体分歧和可检验预测。 ## AI 摘要 Dwarkesh Patel 与 Zyphra CTO Beren Millidge、Thinking Machines 首席科学家 John Schulman、Baseten 模型训练负责人 Charlie O'Neill 三位研究者对谈递归自我改进（RSI）的前景。 ## 正文 我召集了几位我所认识的最有洞见的 AI 研究者，他们都在偏开放型的公司工作，因为我想了解前沿究竟在发生什么、接下来又会怎样。 00:00:00 – 为反对 RSI 的观点做最强论证 今天，我和三位 AI 研究者朋友聊天，每次交谈我都能从他们身上学到很多。他们恰好也在一些偏开放型的实验室和公司工作，所以你们可以真正地公开表态。和我一起的是 Beren Millidge，他是 Zyphra 的 CTO，该公司正在开发开源模型。John Schulman 是 Thinking Machines 的首席科学家，此前是 OpenAI 的联合创始人，并领导了催生 ChatGPT 的 RLHF 工作。而 Charlie O’Neill 是 Baseten 的模型训练负责人。 我的第一个问题是：如果我们到了 2036 年，却没有数十亿个疯狂运转、彻底改变世界的 超级智能，那么最可能的原因是什么？排除外生的政治冲击、爆发战争，或者他们封禁 AI 之类的因素。2036 年没有成为一个疯狂的异星超级智能世界，最可能的技术原因是什么？ Beren Millidge 有一个经典现象，几乎就像莫拉维克悖论一样——我们总觉得 AI“如果它能做到这件事，那就太厉害了”。如果它能解出这些高难度数学题，如果它能在国际象棋中获胜，等等等等……然后它确实做到了这些事，影响却没那么大。显然，它有一定影响，但并非一切。 如果不知怎的这种趋势持续下去，始终没有真正的泛化火花出现，我认为这可能导致 AI 只是在人们放进基准测试或环境中的一切任务上极其擅长。但仍然存在某种持续的仿真到现实差距，不知怎地阻碍了一切。我认为这不太可能。实际上，我们已经在实践中从RL中看到了这种泛化。但如果元学习的泛化真的难到离谱，加上我们没能解决持续学习，而且它就是超级困难、不可能做到……那在这种情况下，这会是我的默认情景。 John Schulman 我同意这一点。人类目前相对于模型有很多优势。每当一个新模型问世，它就会在其中一些方面追赶上来。但你最终会受制于模型较弱的环节、判断力较差的地方，或者模型无法足够好地自我检查。 有一个不断重复的循环：新模型一出来，人们就被震撼到，说“就是它了，这就是 AGI”。但用了一阵子之后，大概过一个月左右，它就开始显得笨了。这个循环可能还会一直持续下去。很难预测它到底会重复多少次。 眼下，你并不会看到能力上的爆发式增长，因为你在做研究和工程时，仍然会遇到足够多的瓶颈。即便模型能写的代码远超一个人，它也不会让你生产力提升 100 倍。所以，也许这类循环的次数会比我们预想的更多。 Charlie O'Neill 对我来说，问题在于全局最优解——“一个你可以放在芯片上的学习器”——距离Transformer+ RL，也就是当前的配方，还有多远。人们设想，一旦你拥有一个在 AI 研究上比所有人类都更强的智能体，哪怕它只比所有人类强 0.1%，那么你能并行运行数十万甚至数百万个这样的智能体——而且随着芯片速度提升，你还能让它们运行得快得多——这一事实将压倒所有其他瓶颈。你最终会撞上这个非常快速的起飞在自我改进方面. 我可以想象，如果我们沿着当前这一范式继续走下去——基本上就是自注意力、RL、不断扩大 RL 环境的规模……想想 摩尔定律所经历的一切。我们曾有这样一条非常漂亮的直线，它维持了非常非常长的时间。但为了让 那条缩放定律持续下去，必须发生许多离散的断层式突破和创新。LLM也是如此。我们曾有过 预训练缩放定律，然后它开始遭遇收益递减。接着我们想出了 RL 并解决了这个问题，然后又得到了一条新的收益递减曲线去突破，使它继续看起来像一条向上延伸的直线。 所以，如果解决这个问题需要再一次那样的断层式突破，我不确定当前用这些 RL 环境来训练 LLM 的方法——即便是面向 RSI的 RL 环境——能否发现那个断层式突破。如果不能，我们很可能会撞上这条渐近曲线。 但你认为这次断层式突破会比 2012 年以来的任何一次都更难吗？ Charlie O'Neill 如果我们知道那个答案，我们差不多就有能力把它实现出来了。但也许我们应该区分两种不连续性：一种是给当前范式做增量、具有累积性的不连续——也就是在 RL 之外还有某种我们必须去发现的东西，而也许它们有能力沿着那条直线把点连起来——或者，还是那个问题：我们距离全局最优到底有多远？我们是否必须回过头去，把梯度下降和神经网络整体抛弃？我不认为，如果你继续把当前范式——也就是 LLM——不断扩展下去，无论你运行多少个 LLM，它都必然有能力发现那个东西，如果那个东西离得太远的话。 唯一真正的希望，其实在于深度学习就是无法把我们带到一个至少能够主导人类研究、人类开发的 AI，包括人类提出新范式等等的能力。或者，我也不知道，也许人类本来也永远不会发现下一种学习架构。但就人类最终有可能发现它而言……但看起来就是……如果你只看从 2012 年到现在所发生的进展，然后你就把它继续外推下去——我知道这一路只是靠海量算力扩展等等在推动——如果它最终没有达到能够主导人类的地步，至少是在研发方面，尤其是在接下来几年里，那反倒会显得很奇怪。 Ryan Greenblatt最近上了这个播客。他提出了一个观点，我很想听听你的看法。你可以想象，随着 AI 变得越来越有能力，它们能够在模拟环境中取得进展，而这些模拟会激励它们不仅把 AI 研发做得更好，也把整个科学做得更好。这是所有实验室都在瞄准的事情，也是许多初创公司在瞄准的事情。 另一个直觉泵是，如果你看看Elo 分数自国际象棋机器人80 年代以来的变化。Elo 随时间呈非常线性的增长。但当它们跨过人类水平区间时，出现了巨大的不连续性——随着 Elo 的这种线性增长，从人类专家总能战胜 AI，变成了人类专家永远无法战胜 AI。 我同意你的观点，即到目前为止，AI 能力就其最终对世界产生的经济影响而言，还没有那么大的分量。但这是因为它们相对于人类的 Elo 正在缓慢上升。 Beren Millidge 我同意，那会非常令人意外。唯一不会发生这种情况的可能，正如你所说，就是它在某个节点之前不知何故趋于渐近。因为在我看来，我们距离开始超越人类 Elo 分数已经相当接近了。所以我们需要在那之前趋于渐近。在我看来，这是在你提出的那种情景下——不知何故我们到了 2035 年，一切都还正常——这种情况得以发生的唯一途径。另一种唯一的可能是对 AI 出台了某种剧烈的监管。实际上，我认为这才是这一情景最有可能发生的方式，而不是技术层面的原因。 Charlie O'Neill 我认为研究有不同的类型。有一种是 autoresearch 风格的研究，目标已经被非常清晰地指定好了，你要做的就是优化那个目标。我想大家脑海中的图景是，如果我们继续沿着这条路走下去——让预训练损失不断下降、让我们的环境所携带的奖励不断上升——那就会带来进步。 但也许 Ryan 所谈的是那种开放程度高得多的科学，而范式转变恰恰需要这种科学——在这种科学里，我们无法指定目标，AI 也绝对无法指定那个目标。对于这其中的任何一件事，我们在如何指定目标上都必须极其、极其谨慎。 也许你的观点是，自 2012 年以来所发生的那些突破，其本质在于我们发现了……在 2012 年，人们并没有说……我这是假设，我不清楚，你们当时在场。或者至少 John，你当时在场。但我没有。 Charlie O'Neill 我当时还在上小学。 其实，John，我很好奇你那历经岁月的智慧，或者说当年身处一线的智慧。想必，一个重大的突破就是意识到 next token prediction 才是……在 2014 年，你不会想到 nanoGPT 的 speed run 才是值得去优化的东西。但既然我们已经走到了这个新范式，你会想到要在这个上面做 speed run，并让 AI 在这方面变得非常擅长。 但也许还有一个 AI 们不会预料到的、更靠内的循环可以优化。还有一个关于收入之类的更靠外的循环，它最终应该会很强，但那是一个非常缓慢的外层循环。 John Schulman 事实上，我记得在 OpenAI 早期的时候，我就有一种直觉：仅仅最小化对数损失并不能让你通向智能。因为那些重要的部分在损失中所占的比例太小了，会被噪声淹没。所以仅仅用下一 token 预测来训练一个语言模型，并不能学到你希望它学到那些有趣的东西。我们需要设计更好的目标函数，把更多的权重放在重要的东西上。 你可以为此提出各种各样的论点。你可以说：“哦，人类大概并不会学会对我们环境中的一切建模。大多数人无法对他们看过的某个场景做出照片级的复现。所以我们肯定需要一个更好的目标函数。”但后来事实证明，它就这样照样奏效了。 正如你指出的，即便在当前的 AI 研究中，后训练基准测试之类的内层循环，也不一定能转化为用户喜欢的东西。 John Schulman 哦，是的。整个领域在很大程度上依赖于泛化，而你很难预测什么时候会获得泛化，或者什么时候会获得某种分布外泛化。我们知道，如果你在你关心的任务上进行训练，你会表现得更好。但最重要的进展往往是那些我们本没有理由期待的泛化类型。 例如，仅仅通过在这个非常朴素的下一 token 预测目标上进行预训练，就能泛化到各种需要以某种深层方式理解输入的任务，或者从预训练中学到某种非常罕见且代表性不足的技能。然后还有从这些可验证任务到不太可验证任务的泛化，这也是一种先验上没有理由期待的泛化类型。 这是一个有趣的问题，因为对于为什么你会迅速看到某种奇点——甚至不需要把 AI 进步的投入扩大到不仅仅是 AI 劳动力——一个直觉上的推想是：在你运行每一个七位数成本的实验之前，你会花费等量的算力在 AI 劳动力上。所以你只需用你们这些人的自动化版本，花一个世纪的时间思考什么是最优的实验，做小规模的消融实验，发展出字面意义上一个世纪份量的理论，甚至可以追溯到深度学习之前。 在你决定运行什么实验之前，你正在做极其优化的实验设置。然后实验结束后你再花一个世纪的时间思考，分析发生了什么以及下一个要运行的实验是什么。 John Schulman 如果你足够深入地思考，你或许事先就能预料到其中一些事情。可能存在某种非常巧妙的方法，让你做一个较小规模的实验，从而构建出一套理论，再将其推广到大规模实验中。所以我认为，我们在研究能做到多好这件事上，还远未触及天花板。 我可以想象这样一个未来：AI 承担大量的分析和理论构建工作，投入的算力与你在实验本身上投入的算力相当，进行各种分析，并围绕我们目前所观察到的东西构建理论。 Charlie O’Neill 我认为，当目标被明确界定的时候，确实有一些非常具体的例子。思考所能做的，只是根据你形成先验之后所获得的那些比特，更新你的后验。你无法仅凭思考获得任何新的比特。但当目标被明确界定、并且有这些数据摆在那里时，我想我们目前所处的范式将会迎来一次巨大的提速。 一个很好的例子是，如果你让 AI 去思考Kaplan 缩放定律。在这个时间点上，AI 会注意到：“哦，他们只是取了这些中间检查点，却没有考虑退火，所以这是错的。”这一点本可以在几年前就被发现。仅凭 AI 的这一观察，我们就能省下一到两年的进展。 再次强调，一旦目标被明确指定——也就是降低预训练损失之类的——就有很多很多很好的例子表明，只要你再多想一想，就能大幅削减你已经做的那些事情。比如 muP，以及学习率如何随模型规模缩放，并意识到模型宽度在其中也很重要。我觉得你确实可以反推出很多这类东西，砍掉大量唾手可得的低垂果实。我可以想象，如果我们的目标仅仅是"最大化我们当前所优化的目标"，那就能带来 10 倍的加速。 但我看不出这如何能推广到一开始就提出正确目标这件事上。光是思考，未必就能让你一开始就得到正确的目标。 Beren Millidge 我认为，对于当前 AI 能否实现任何形式的极快速 RSI 来说，这确实是关键问题。AI 在学会自己的目标方面能泛化到什么程度？要拥有任何形式的自我驱动自动化循环，我们需要 AI 提出目标、优化目标、搞清楚这一点、提出新目标，并且让这一切在很长很长一段时间内都不会在任何环节失控。 回到莫拉维克悖论，可能存在这样一种莫拉维克悖论的情形：我们认为这种自主性和自我封装——也就是我们可以自己思考该做什么，然后去执行，并形成这样一个循环——超级简单，因为我们一直都在这么做。显然，进化需要创造出能够长时间独立生存的生物。而这可能恰恰是某种出于某种原因对 AI 来说极其困难的事情，就像运动控制之类的事情极其困难，而数学虽然对我们来说超级难，对 AI 却超级简单一样。 但时间跨度不断增加不就说明那是—— Beren Millidge 对，没错。这是另一种可能性，但我同意，目前没有明显的证据支持这一点。事实上，我们的智能体现在已经超级持久，而且做到这一点相当容易，这某种程度上就是反对这一点的证据。但如果这件事确实很难，那这可能就是我们不能立刻迎来起飞的原因之一。 如果你回顾从 2012 年到现在——或者也许从你开始做研究到现在——在那之后发生的所有创新中，包括纯工程性的，包括纯概念性的，哪一部分看起来像是 AI 完全自动化 AI 研发之前人类最后还需要做的事情？ Beren Millidge 大概就是不断地提出正确的问题。即便你能让 AI 去做任何实验，你仍然需要决定该做哪些实验。目前我认为，与编写实验代码相比，AI 在这方面还不太擅长。每当我们谈论研究时，它们会提出一堆杂七杂八的东西，都是非常非常微小的步骤。 Charlie O'Neill 又或者，甚至从 DeepMind那种"我们要通过学会以超人水平玩游戏来解决智能问题"的思路，转变到像 Radford这样一位普通研究员的想法——"我就试着去预测极其广泛数据中的下一个 token"……即便 Radford 已经发现了这一点，人们也花了一段时间才决定将其规模化，因为我们必须提出缩放定律这一概念，以及你可以非常可靠地预测这些事情这一事实。 John Schulman 我想说，人类最后的工作，或者说持续时间最长的人类角色，是定义目标并决定我们真正想要什么。沿着这个思路，像决定 AI 助手应该如何表现，或者什么才叫有帮助，又或者当我们做基于人类反馈的强化学习时目标是什么，就是这类事情。再往后，定义 宪法和 模型规范又是另一件事。即便 AI 能完成所有技术性工作，我们仍然需要做大量这类事情，并决定我们真正想要什么。 对齐是最后的工作。 John Schulman 对齐在某种意义上就是答案。但对齐本身可以分解为目标的规格说明，也就是弄清楚正确的目标应该是什么，然后真正实现或优化你所定义的目标。我认为第一件事短期内不会消失。 如果我考虑一个后训练团队，以及为什么你需要很多人在这个团队里，那只是因为有很多不同的领域，你必须弄清楚模型应该如何表现。要把整件事自动化会非常困难，因为总得有人去思考模型在这个领域应该如何表现。 00:18:39 – 是什么在推动中国实验室的进展 为什么模型提供商没有出现大规模整合，这背后的原因是什么？这里有太多因素都指向集中化。如果你把时间拉长到数年来看，会有什么东西阻止这种趋势吗？ John Schulman 我认为知识蒸馏是抵抗集中化力量的主要因素。基本上任何可以通过 RL 学到的东西都可以非常容易地被蒸馏，因为它只有很少的比特。它是你可以从少量数据中学到的东西。如果你能从模型中获取展示某种行为的轨迹，你就能轻松地蒸馏它。我认为知识蒸馏是抵抗集中化的因素之一。 还有一种可能性是会出现公司专属模型，即可以从部署中学习，让一家公司持续改进自己的模型。这样的系统可以由当前的模型提供商寡头或某个目前规模较小的公司来提供。但我认为这会稍微改变格局。 Beren Millidge 我还想指出，持续学习说实话并不能阻止知识蒸馏。即使你的模型每天都在改进，人们也可以每天对它进行蒸馏。这个循环可以以相同的节奏运转。 这说得通。所以复制模型行为……我猜你需要自己知道什么样的提示词分布是正确的，才能获得相关的模型行为？ John Schulman 哦，是的。仅用监督学习来做知识蒸馏的话，提示词分布极其重要。蒸馏一个模型是非常不容易的，即便你能完全访问它、拿到思维链和一切。要从中蒸馏出所有有用的能力并非易事，因为你需要用某些东西来提示模型。你需要用真实的提示词来提示它。你需要有一个非常广泛的真实提示词分布。 最近浮现的一件事是，一些中国公司很可能在使用这些路由服务，这些服务旨在让中国的用户能够使用美国的前沿模型，而这些模型原本在中国是被封锁的。有各种路由或代理服务让中国的用户能够使用这些模型，主要用于编程。这些路由服务正在收集并出售部分数据。这对于知识蒸馏来说是非常有用的数据集，因为它提供了完美的提示词分布。 Beren Millidge 我认为这是 AI 能帮上大忙的事情之一。如果你真的去看前沿流水线，或者中国模型在论文中实际披露的内容，他们会从某处获取种子提示词，来源是人工和这类数据的某种组合。然后他们利用现有的模型或其他前沿模型，从这些种子提示词合成出广泛的覆盖。你可以在很大程度上自动化提示词分布的收集和环境创建。随着模型变得更好，人类需要提供的比特越来越少。 但看起来你仍然受制于拥有一项有用户在使用它的服务。 Beren Millidge 不一定。那显然非常有帮助，但理论上，你只需要思考用户想要什么。 但关键在于，用户会说：“给我做一个像这样的应用。哦，那个不行。我其实想让你做这个新功能。不过其实，让我们退一步，做另一件事。”捕捉这整个轨迹才是重点。或者，如果你本来就能做到这一点，那你就直接有了 RSI。 Beren Millidge 归根结底，如果你有这样一个完全自动化的循环，那基本上就是 RSI。AI 在决定数据，它在决定训练。这就是那个循环。但这取决于你需要多少人类信息。在某个时候，如果你只是说：“我想要看起来像这样的轨迹”，你把这个提示给模型。模型就能给出一个相当不错的近似。 但如果你想做的是，“给我做一个非常出色的政治家”，然后它必须从头预判参议院大厅里的一场讨论会如何进行之类的呢？我只是觉得会有很多事情是—— Beren Millidge 讽刺的是，这件事对做知识蒸馏的人来说反而比前沿实验室更容易。做蒸馏的人只需要说：“我想要一个优秀的政客。”他们去找前沿模型。前沿模型已经知道怎么当一个优秀的政客，所以它直接生成那些轨迹就行了。而如果你真的想造出第一个能做到这一点的模型，你就得想办法获取政客每天做什么的数据，并据此把它建出来。说“我想要一个像这样的东西”，然后让 AI 生成十亿个变体，实际上要比从一开始就真正创造出“像这样的东西”容易得多。 Charlie O'Neill 我认为，基于这一观察，你其实可以做出一个非常具体的预测：中国的实验室拥有这些路由数据。最初引发这件事的是，我当时说：“难道不奇怪吗，Sonnet 5和Opus 5几乎是客观上比GLM-5.3和Kimi K3更差的模型，尽管它们不仅能获取知识蒸馏，还能获取logit 蒸馏来自Mythos？”反驳的观点是，提示词分布真的非常非常重要。你需要看到用户在实际做什么，这样才能把这些行为蒸馏进去。 我认为由此得出的预测是，前沿实验室如今在 RL 环境方面未必有多大优势，甚至可能根本没有。是的，用户分布对通用行为等确实重要，但衡量一项能力最好的标准，是你在前沿打造的那些极其、极其困难的 RL 环境。如果你作为 Anthropic 能接触到那些 RL 环境，又能使用 logit 蒸馏，结果却仍然做出了一个更差的模型，那也许—— 那么真实世界的部署就比环境更重要了。这真的很有意思。 但他们一开始就必须在 Fable 或前沿模型中激励出这些能力。所以奇怪的是，他们居然没法用更小的模型之类的东西再次激励出这些能力。 Charlie O'Neill 也许我们正处在这个奇怪的恐怖谷里：试图过多地复制那个前沿模型，学生-教师差距，不管是什么，都太大了。人们已经就 Opus 提出过这一点。Opus 4.6 和 Opus 5 的区别在于，Opus 5 真的感觉像是有一个 AI 作为评判者在检查它所做的每一件可能的事。这就是它使用那么多 token 的原因。它会尝试思考所有这些东西，但它未必具备 Fable 那种 大模型气息，知道什么时候该停止这么做，或者什么时候是一条值得走的好路。 力所不及。 John Schulman 我想提出一个略有不同的假设。我会说，你可以创建的环境有几个不同的维度。其中一个是难度，另一个是真实度。 相对来说，创建大量高难度环境是比较容易的，这些环境涉及执行复杂得多的任务，或者做一些需要更多巧思的事情。你可以说这就是benchmaxxing分布，因为许多最知名的基准测试无非就是做一些非常难的、类似谜题的任务，而且容易验证。然后是真实度这个维度，你希望模型在真实的编程智能体场景中表现良好，那里有人类之间的多轮来回交互，也有多个目标。 那些首次塑造模型行为的实验室需要在这两个方向上同时推进。要获得良好的模型行为，你需要真正在真实度维度上发力，并拥有评分标准或某种人类反馈来为你在那里使用的奖励函数提供信息。但如果你试图以朴素的方式做知识蒸馏，最终你只会在 benchmaxxing 分布上与教师模型对齐。如果你没有足够多的环境来真正锻炼模型在这些更棘手的真实场景中的能力，那么你就无法将这些能力带入你的学生模型。 我觉得可能正在发生的一件事是，大模型从棘手的窄任务到这些更真实的任务泛化得更好。如果你有一个非常好的真实提示词分布用于知识蒸馏，你可以很好地匹配大模型。但如果你只有这种易于验证的任务分布，那么你可以在所有基准测试上匹配大模型，但在更广泛的分布上表现更差。 这或许还能解释 Anthropic 一些较小模型的情况，比如 Sonnet 5，尽管很难准确预测他们对这些模型的后训练到底做了什么。也有可能他们一直在调整后训练技术栈，只是在其中一些模型上弄错了几处。我也不确定……他们把某个参数调得太高了，制造出了一些人们非常不喜欢的怪癖。后训练非常容易在某个方面搞砸，而且这种问题不会在基准测试中暴露出来。 Beren Millidge 还有一个非常基本的点：前沿 AI 实验室都是从大数据公司购买所有数据的。中国方面同样可以从数据公司买到相同的数据。 确实如此，对吧？ Beren Millidge 确实如此。没错。很多人对此感到不满，但如果他们拥有完全相同的数据并且能买到这些数据，他们也能进行蒸馏。这意味着跟上进度其实相当容易。 00:28:06 – 自动化 AI 研究员将如何训练 我还有一个问题是，第一批能够自动化 AI 研发的模型究竟会如何被训练出来。有一个简化版的做法，就是 Ryan 谈到的那种。你直接让 GPT-8 去构建 GPT-3 规模的模型，这些模型非常擅长内循环类型的挑战：击败需要持续学习的电子游戏，或者以最少的算力达到某个特定的损失值，等等。 但 John，我觉得你提出了一个很有意思的观点，那就是实际中可能并不会以那种方式发生。所以我很好奇，当你拥有真正能够自动化 AI 研发的 AI 时，它们大概率会是如何被训练的？ John Schulman 我们大概率会做一些组合：一方面从人类反馈中学习，以吸收研究人员的品味；另一方面创建大量涉及多步骤研究项目的练习环境。实践中，人们会以某种组合方式来做这两件事，并且在每一轮迭代中，修补上一轮中看起来问题最大的部分。研究人员会大量使用这些 AI，并注意到它们存在一些一贯的弱点。这些问题要么通过收集人类反馈来修补，要么通过创建环境来修补。 Charlie O'Neill 也许一个有用的思考方式是：我们会回滚多少代系，然后从那里开始让自我对弈。在极限情况下，你设想的是只给它们一块 GPU，也许还有神经网络之类的东西，然后说：“好，想办法训练一个模型来完成这些特定任务。”目前的工作方式是，我们一直推进到代系的最前沿，然后说：“好，这些是 Anthropic 在过去几个月里在他们的训练栈中发现的 bug。我们会把它们转化为环境。”你需要在前沿上训练并变得更强。所以你显然会锁定代系的所有先前历史。 但你可以想象一个世界，在那里你回滚到GRPO之前之类的状态。然后你有各种环境，试图让它发现用 RL 训练模型的最佳形式，然后也许你越回滚越远……但我认为我们的算力仍然会如此受限，以至于人们只会一直待在前沿，本质上就是把自上一个模型版本以来发现的 bug 和任何改进做 diff，然后把它们转化为训练环境。 这对于在模型代际之间获得非陈旧的、新的数据也非常有好处。再次强调，这基本上就是 AI 实验室内部的持续学习，通过环境和 RLHF 类的东西，把过去三个月的 AI 研究进展蒸馏回模型本身。 Charlie O'Neill 而它正在做知识蒸馏。这或许就是为什么我们中有些人觉得它渐近。你总是只想拿到最近三个月的进展。当然，这些进展有 AI 的贡献，但其中也仍然有人类在环。感觉就像你一直在一点点逼近人类研究者正在发现和能够做到的东西。 Beren Millidge 不过我要说的一点是，显然如果你只是基于轨迹做知识蒸馏，你永远无法超越它。但环境可以远远超出人类能做到的水平。设计一个没有人能解决的环境非常容易，但 AI 显然仍然可以尝试去解决它。那将是超越人类 AI 研究水平的路径。 Charlie O'Neill 就 RSI 而言，你有没有一个例子，说明是什么样的训练集？ Nanochat 速通，但比人类速通玩家做得还要快。 Beren Millidge 我觉得尤其是在 AI 研究中，定义目标非常容易。你可以说 loss 需要达到 1.3 之类的，而现在没有人类能做到。但这是一个极其可测量、可验证的任务。如果 AI 做到了，那就太好了。 或者，我也说不准，就是训练一个 1 亿参数的模型去打败《我的世界》。这也许太简单了，但打败一个复杂得多的游戏之类的。 Charlie O'Neill 1 亿参数的模型能打败《我的世界》，这难道不疯狂吗？我们居然还说这太简单了？想象一下五年前你要是这么说会怎样。 John Schulman 不过我想说，很多研究并不完全是这样，并不是在一个定义明确的目标上爬山。它更像是这样：我们对模型应该在某个方面变得更好有一种直觉。我们也有一些算法上的想法，似乎朝着这个方向走了一点点。于是我们就设计一个任务，用来展示这种方法是否出现了生命迹象，看看能不能看到这些迹象。如果看到了，我们就可以把这个任务逐步做成越来越接近真实的版本。 它更多是由直觉引导的。内层循环是为了检验那种直觉，而不是让测试本身带来洞见。 John Schulman 没错。你并不是直接针对你最终关心的目标或实际生产目标做优化。你是在稍微放宽你的目标。你是在说：“让我们在真实感这个维度上稍微放宽一点，找到一些真正有效的方法，然后再等这个方法稍微成熟一些之后，再回到真实感上来。” 还有一些研究更偏向于解释事物和建立理论。通常，我们在机器学习中并没有那么具有预测力的数学理论。但我们有很多关于正在发生什么的、更非正式的理论。 Beren Millidge 想必这些模型会在所有这些任务的某种组合上进行训练。有些会非常容易验证，有些会是LLM-as-a-judge，或者直接问人类：“这看起来合理吗？”人们希望这些都能泛化到那些难得多、更模糊、更含混的任务上。这在某种程度上很可能会实现。但它是否能泛化到足以让这个循环变成自我封闭、完全不需要人类参与，这一点还不清楚。 00:33:51 – 长时程 RL 会催生 AGI 吗？ 也许先退一步看。在我看来，未来 AI 研究的计划大致是这样的。你觉得它会不会奏效，或者你是否认同这种描述，可以告诉我。这个赌注是：我们将在数百万个多样化环境、数百种不同领域中扩大 RLVR 训练的规模。最终从中涌现出来的，将是一个已经学会这些基本技能——或者还谈不上基本技能——的智能体，这些技能包括保持持续性、能够对信息和上下文进行分诊，最终还能实现与其他智能体协作的端到端优化，诸如此类。 这样的智能体在上下文内将具有很高的 样本效率——你研究过如何扩大 上下文学习的规模，使其可以任意长，但你仍在不断扩大它。而最终从中产生的东西，基本上会像一个 可即插即用的远程工作者，其工作周期可以是一周或一个月。 首先，你是否认同这就是各家实验室正在下的赌注？其次，这足够吗？基本上，就是在数据中心内的这些模拟环境中学会如何学习，然后被部署到现实世界，但并不是真正从现实世界部署中学习……只是从数据中心里的模拟环境中学习这些元技能。 Charlie O’Neill 我认为现在已经很难区分，各家实验室的努力中有多少是在直接推进 RSI，又有多少是在打造可以持续部署、以收集收入来资助下一轮大规模训练的通用智能模型。 对于后者，是的，这大概就是他们下的赌注。过去几年这些环境的发展方向非常清晰。Anthropic 的环境演进脉络就是一个非常清楚的例子。首先，我们只专注于编程，并且要在这个领域做到非常非常出色。然后，从编程所获得的任务时间跨度出发——编程大概是利用互联网上可用数据来构建环境的最低垂果实，再加上他们自己内部可以转化为环境的东西——接着我们再向外泛化。 接下来我们会推进到金融领域，在 RL 训练中光是 Excel 数据以及诸如此类的东西就多得不得了。然后是 PowerPoint。这就是整个工作经济的长尾。这套做法似乎效果非常好。许多其他实验室，甚至开源实验室，现在都已经意识到那才是正确的赌注。 但这意味着什么呢？当我请 Dario 上播客时，我问他的问题是：如果你真的期望模型具备像人一样在工作中学习的能力，那你为什么要试图把使用 PowerPoint 之类的所有这些技能都预先烘焙进去呢？你难道不应该期望模型在部署之后就能自己学会这些吗？ 有多种不同的解释。一种解释是，我们预期模型很快就能达到那个水平，但它们目前还没到，那为什么不把这些技能摊销到模型训练中呢？另一种解释是，我们并不专注于让它真正擅长广泛部署的工作。我们只想让它真正擅长 RSI。这只是我们获取收入的一种方式，以便将资金重新投入到真正擅长 RSI 开发的模型中。然后一旦奇点到来，从另一端出来的东西将在所有对当前一代模型来说看似瓶颈的方面都表现得非常出色。 John，如果路径是这种泛化，我不知道你对如何理解这些模型中存在如此多任务特定知识有什么看法。 John Schulman 如果模型在上下文学习方面足够好，那么理论上你不需要用金融数据来训练它们。它们只需即时阅读所有书籍，就能弄清楚如何在相应的司法管辖区做所有事情。你可以说，你需要做大量这种领域特定的训练，只是为了让他们更高效。即使它们足够聪明，能够即时弄清楚这些，你可能仍然想做大量 RL，并把这些直觉全部烘焙进权重中，这样模型在运行时就会更高效。 在实践中，模型提供商确实似乎在逐个领域地推进，试图在价值最高的领域强化模型。我想说，这就是模型为何变得如此出色的答案之一。原因就在于模型提供商已经覆盖了大量高价值领域以及最常见的技能类型。 Beren Millidge 另一件事是，同时做这两件事的成本并不高。模型规模庞大。就其参数量而言，它们完全有能力学会一切。很可能存在某种迁移。即便金融并不具体，这些信息对 RSI 也很重要。仅仅是关于如何判断什么重要、如何培养品味、如何做长周期工作的通用元学习，就具有潜在的泛化能力。 世界上也没有那么多 RSI 数据。它很难生成，需要大量投入。所以如果你能用这些其他数据来分摊成本，你就能从中获得一些迁移。你已经有海量算力和海量参数空间，那为什么不在卖模型这个明显的直接商业意图之外，也顺便做这件事呢？ John Schulman 我还要补充一点，有一个问题是，当前这种 sim-to-real 的范式是否会永远占据主导地位。你看看现实世界中的任务是什么样的，然后你尝试创建一堆可以在数据中心里模拟的环境，并在这些环境上做 RL。显然，这种做法非常成功。但它也有很多弱点，因为很多东西就是很难模拟，尤其是当它们涉及与大量人类实时交互的时候。所以，sim-to-real 是否会永远是最主流的框架，这是存在疑问的。 Beren Millidge 我认为在样本效率还很低的时候，sim-to-real 必然是主导框架，因为现在你需要与人类进行成千上万次交互。没有人会坐在那里参与到 RL 训练的循环中。所以我们现在必须模拟这些，才能获得所需的样本。但显然，如果样本效率大幅提升，你就会预期从部署中学习会成为其中大得多的组成部分。 John Schulman 不过你还可以做其他一些事情。你可以进行离策略学习，这样你就可以把所有轨迹拿来，即使不重新模拟所有内容，也有可能从中学习到一些东西。 我想就这一点多问一些，因为很奇怪的是，你有 50% 的算力花在推理上，而这些推理并没有直接帮助模型变得更好。你预期数字心智最终会拥有的一个关键优势是，与人类只能获得 50 年的现实世界经验不同，一个模型将通过它的所有实例，在经济中各种与经济相关的工作中获得数百万年的部署经验。而目前，这些数据在真正有意义的意义上，并没有帮助模型变得更好。 看起来如此显而易见的是，最终模型应该能够从这些数据中学习。一旦它们做到了，你就会拥有某种几乎像是广泛部署的智能爆炸一样的东西，因为模型正在从所有这些部署实例中吸收如此多的信息。你预计这种蜂巢思维、疯狂的事情什么时候会开始发生？ Beren Millidge 我认为从广义上讲，在一个非常基础的层面上，这已经在发生了……就在下一代模型中。现在，你显然可以拿你的部署数据，把它放进未来模型的预训练或中期训练中，尤其是如果你对数据做了某种过滤、某种判断、标注或合成的话。 你认为这在多大程度上解释了代际之间的改进？ Beren Millidge 我觉得这能解释不少问题。我不知道那些实验室是否这么做，因为理论上他们声称不会用用户的数据来训练。但中国那边 100% 会这么做。他们确实从中获得了这种优势。这基本上就是知识蒸馏的本质。他们拿到模型，通过向模型发请求获取一部分部署数据，然后用这些数据训练下一代模型。他们当然也可以在自己的模型上这么做。完全没有理由不这么做。 Charlie O'Neill 我完全同意这一点。如果你把视角拉得足够远，这确实正在发生。我们所有人脑海中描绘的、持续学习这一终极目标，是单个模型获得经验、实时更新、当场从中学习的那种非常有机的、实时的循环。当你把视角拉近到那种细粒度时，很多事情就会出问题。但那些大型实验室正在这么做。闭源模型正在这么做。 也有一些早期迹象表明，使用开源模型的人正以快得多的节奏做这件事。一个很好的例子大概是 Composer。Harvey 在法律智能体上也在做同样的事。你手上有某种模型，你从自己针对特定任务所拥有的数据中获取非常具体的环境信息，还有用户抱怨的问题，以及你以某种方式从自己特定部署中提取出来的所有反馈。这类公司中的许多相比大型实验室拥有一个优势，那就是他们能把这些数据用得极其出色。 然后他们会创建环境。他们会对 Kimi K3 做一次大规模后训练。他们会去部署它。他们可能还会做一些在线学习，就像 Composer 做在线……基本上就是长时间做REINFORCE。 仍然有人在环中。仍然有人在说：“好，这些是我们关心的信号。下面是我们如何从手头的数据中创建环境。”它的节奏仍然比你想象的要长，但它确实在发生。最终这个循环会变得越来越快。 Composer 这件事很有意思，因为正是在这里，在 Cursor 中，人们会按 Tab 或者不按 Tab 来接受模型建议的下一个补全。基于这一点，每一天，Composer 都在更好地预测下一个—— Charlie O’Neill 那是旧的 Tab 模型。他们实际上不仅对 Tab 模型做了同样的事，对真正的生成模型也做了。 哦，我明白了。有意思。 Charlie O’Neill 这很难，因为当你做在线强化学习时，你并没有分组。你只有一个用户说了一件事，然后你得到一次 rollout。所以你面临一个很大的方差缩减问题。 Cursor 对此给出的模糊回答是：“我们有非常好的启发式方法，能够估计这个回答比平均水平好多少，或者比平均水平差多少。”然后他们会做一次大的 REINFORCE 更新。对于模型是否变差这个问题，他们的解决方案是：如果它在CursorBench上有所提升，他们就每五小时部署一次新模型。如果没有提升，他们就把那个版本扔掉。 John Schulman 我认为你最大的问题其实是，不知道自然数据的奖励函数应该是什么。如果你使用某种表面信号，比如他们是否接受了这次编辑，那可能会以某种方式被奖励黑客攻击。 00:45:24 – 仿真到现实的差距 但这难道不是仿真到现实问题中更大的一个问题吗？任务的时间跨度越长，就越难在数据中心内进行仿真。在我看来，即使在编程领域，我们也已经接近这样一个节点：不存在某种长达一年的编程任务，最终不需要你与客户沟通、与公司互动或与用户互动。 如果你想想我们希望 AI 能够胜任的种种事情，最终超级智能应该能够经营一家企业，或者创办一家新企业并让它盈利，或者在市场上做日内交易并盈利，或者打赢一场官司。这些事情都很难在数据中心里模拟。其中学习的一个固有部分就是与真实世界互动。 也许它们通过从仿真到现实的迁移，学会如何在这些事情上做得更好。但另一种可能是，你确实需要从这类互动中进行权重更新，才能在这些事情上变得更好。如果是这种情况——如果迁移不够强，你确实需要权重更新——那么模型样本效率相当低这一事实，或许就是一个更深层的问题。 我对这一点感到好奇的原因是，按默认情况来看，我看不出你怎么能在未来 10 年内不出现某种疯狂的递归式自我改进。但这可能不会发生的一个原因是，就权重更新的样本效率而言，模型似乎远远落后于人类。从一个人从出生到成年所看到的数据量，与一个模型从冷启动到完成训练所看到的数据量相比，它们很可能落后人类一百万倍。 这一切都说明，首先，仿真与极其长时程、真正复杂的现实事务之间是否会有良好的迁移——我们希望 AI 在真实世界中做的正是这些事？如果没有，那是否真的意味着这些模型样本效率的不足会反过来害了我们？ Charlie O’Neill 也许我可以这样划分两类任务——模型能够胜任的任务，以及模型仍将持续挣扎的任务——依据是任务是否具有累积性，还是说它处于一种非平稳分布之中，你必须不断学习并反复重新论证一堆东西。 一个累积性任务的例子可能是 RSI。从理论上讲，完全可以有一个不到一百万 token 的 Python 文件，它从零开始训练出一个具备递归自我改进能力的模型。你做出的每一项发现都是一条你坚守的底线。如果对于 RSI 而言，我们确实不需要发现新的注意力变体之类的东西，那么一旦你发现了注意力机制，一旦你发现了混合专家，一旦你发现了GRPO，你只需把它加入训练栈，它就在那里了。 一个很好的例子是5.6 Sol的训练、5.6 Terra，或者 OpenAI 告诉我们的它训练的那个版本。它不必回过头去发现注意力机制。它基本上就是调用一堆脚本，比如 pre-training.sh 和 post-training.sh，然后就这么做了。这就是一个累积性任务的例子。 我认为，现实世界——也是人们如此关注持续学习的原因——并不是一个真正累积性的任务。想象一下在一家律师事务所里，你有一个智能体担任法律助理。那是一个非常非平稳的分布。你必须能够在上下文中容纳该公司所有重要人物之间的所有关系，而这些关系也在不断变化。你还要掌握所有这些关于事情如何做、去哪里找信息等等的隐性方式。这不像 RSI 那样是一个干净的累积性任务示例。 我认为任务之间会出现这种分化。但如果实验室意识到这一点——而且他们确实相信 RSI 在某种意义上是累积性的，即我们不需要回头去发现某种全新的架构之类的——那么也许越来越多的精力和算力会集中在那上面，而不是其他任务上。 RSI 恰好比当律师助理更容易，这真是太不幸了。 John Schulman 我想说，今天的模型在很多不同方面都比人类弱。其中一些可能与特定情境下的样本效率有关。在某些情境下，模型非常样本高效，比如在上下文中学习。但可能存在某种中等长度的情境，模型在那里的样本效率较低，因为人类能以比模型更高效的方式完成某种权重更新。我认为在某些情境下样本效率较低，可能是模型弱点的来源之一。 但我认为还存在一些与此完全不同的其他弱点来源。例如，思维多样性低于人类，或者在某些类型的长期判断上表现不佳。我认为人们所说的很多“品味”，其实是某种从长远来看行之有效的行为，而且人们已经意识到它从长远来看是有效的。不全是，但品味的某些方面确实如此。尤其对于软件工程这类事情，我认为很多品味就是“什么样的系统在这个项目的长期运行中是可维护的、能良好运作的？” 模型存在各种各样的弱点，这些弱点与其他因素一起限制了 RSI。其中一些与样本效率有关，另一些则无关。 Charlie O'Neill 也许一个有趣的思想实验是这样的。假设你能够给一个模型一个一万亿 token 的上下文窗口，或者说足以容纳你在比如说 RLHF 之前所有经验所需的那么大的窗口。它在上下文窗口中拥有了所有这些经验，并且它在百万 token 时具有的样本效率和上下文学习能力保持不变。你认为品味问题就解决了吗？它能够做出与你相同的判断吗？还是说，除了一个具有相同样本效率的更长上下文窗口之外，还有什么根本性的东西缺失了？ John Schulman 它必须经过训练，才能从这些上下文中学习。要么它必须经过训练，学会从该上下文中做出正确的更新，要么它必须能够泛化。 Charlie O'Neill 所以你不认为你可以直接把所有东西都倒进去，你的整个人生，你的研究经验？ Beren Millidge 你仍然需要数据来在长上下文上训练它。即使你理论上能获得一万亿的上下文，你也需要一万亿长度的数据来训练它。现在你有 10k 的上下文，你不能直接倒进去一百万。 Charlie O'Neill 是的，我只是在问如果你有那个的话。 Beren Millidge 理论上，我认为，是的。这实际上归结为一个问题：品味从较短周期的经历中元学习的可学习性有多高。我觉得没有明显的理由说明它需要超级长，因为人类不知怎么就发展出了品味，而没有很多长的经历。我们活不到 10,000 岁。我们发展得相当快。 如果你想想哪怕是一个博士，一年级博士生和最后一年学生或博士后之间的差距，那大概是五年。他们总共可能只做过 10 到 30 个研究项目。但不知何故，他们从相对较短的一系列小事中很快就培养出了品味。从理论上讲，以这种方式培养品味是可能的。 AI 显然会拥有多得多的经验来培养品味、对其进行元学习。那么问题就在于，这能在多大程度上泛化到真正长周期的事情上，而我认为这一点目前确实尚未解决。我们不知道。 回到这个问题，最终应该会出现一种状态，即 AI 从每一次部署实例中学到大量东西。目前可以说，存在一个模糊的元过程，模型确实会通过部署得到改进。但我觉得这是一个非常弱的反馈回路。你认为这种非常快速的蜂巢式学习即将到来吗？如果是的话，它究竟是如何发生的？ John Schulman 我想说，我们能否得到一个从其所有部署经验中学习的蜂巢式智能，很大程度上取决于激励，而不是一个技术问题。公司不会愿意让模型提供商从他们的所有部署中学习，因为那可能只会削弱他们自身的业务优势。 Charlie O'Neill 我认为，这种经济性会带来压力，不一定是推动权重更新走向一个大型的公共共享模型，而是推动以模块形式插入。一个非常明显的例子就是 LoRA，但也可能是别的东西。 已经有很多工作试图把任意长度的上下文塞进一个固定大小里。这就是所有 线性注意力那类东西。还有 cartridges，本质上就是经过训练、被压得极其紧凑以容纳大量信息的 KV cache。这是另一个例子，说明公司可能愿意接受某种东西，只要它是被插入到模型里，而并不真正改变底层基础模型本身。 从你自己的数据中实时学习有很多不同的版本。后面那些其实对大实验室没什么帮助，因为它们只是这些模块而已。但我认为经济压力会迫使实验室先走上这条路，然后才能着手这个…… Beren Millidge 不过，是哪种经济压力呢？我觉得即便你有一堆 cartridges 或 LoRA 之类的，你仍然可以直接把所有这些轨迹丢进你下一代模型的预训练里。 Charlie O’Neill 是的。这可能是大型实验室所获得的一种更间接的学习形式。这对他们来说显然仍然非常有价值。但我无法想象这样一个世界：我们一开始就说，“我们要直接用我们获取到的所有精确数据来训练这一个大模型。” Beren Millidge 不，我认为它肯定会经历多个阶段，因为这里假设存在一个不连续的突变事件，突然之间我们就持续地修复权重更新了。实际上，我认为更可能的情况是，这些“卡带”之类的东西让你能够在部署中实现专业化。然后你生成轨迹，把它放进你的模型里，三个月后你就得到一个在这方面更强的模型。你再次对它进行专业化，再次对它进行整合，然后最终我们会让这个飞跃越来越快。 不再是每三个月发布一个模型，而是每周、然后每天、然后每小时，到那个地步我们基本上就解决了这个问题。 Charlie O’Neill 我认为这也是一个很好的观点，因为你问到当前范式距离能够做到这一点还有多远。我们对此做过一些研究，其他人也做了大量研究。在非常大的规模下，当你滤除足够多的噪声并且拥有足够大的批次时，这种将数据放入中期训练并创建我们自己环境的外循环过程，确实能在某种持续学习的机制中发挥作用。 但问题在于，当你把视角拉得足够近、放到微观层面——我手上有一个模型，我想为某家律所之类再更新它一次，而且我想用相对少量的数据非常连续地做这件事——所有方法都有点失灵了。如果我只是用成功的轨迹对模型做 SFT，无论是离策略还是在策略，最终在这种高度迭代的状态下，当你做数百次这样的微更新时，你就会看到 灾难性遗忘。你会看到此前在基础模型之上学到的、更早阶段的信息被遗忘，也会看到通用能力的退化。 在策略蒸馏似乎能把这一时间线往后推一点，但它最终仍会屈服于同样的问题。RL 擅长把能力装进去，但不那么擅长把知识装进去——那种非常明确的知识，比如“啊，好吧，这个人在这家律所做这件事，而这是我们发现的一个非常具体的流程”。你得投入大量算力来构建合适的环境，才能用 RL 把知识灌进去。 你认为这里的根本问题——为什么你在这些其他技能上会变差，或者为什么会出现遗忘——从根本上说是容量问题，还是技术问题？ Charlie O’Neill 两者都有一点。我认为 SFT 甚至 on-policy 蒸馏都可能破坏性太强。RL 之所以这么好，是因为它对模型的改动非常非常小。有很多证据可以说明为什么会这样。它只是在那个非常非常小的损失谷里做微调，把模型调到正确的点上。但这也同时限制了你能用 RL 做什么，以及你实际上能对模型改变多少。 所以你是说，这件事之所以可能不会变成赢家通吃，是因为要把那么多信息蒸馏进基础模型实在太难了？ Charlie O'Neill 在不破坏某些东西的前提下，以迭代的方式进行。 Beren Millidge 把它蒸馏进另一个基础模型是容易的。我认为这主要是个技术问题。绝对不是没有容量。如果你有一个拥有所有这些数据的模型，然后你拿一个完全相同规模的模型，用中期训练中的所有内容从头预训练，它会更好。我认为这就是今天正在发生的大部分情况。 确实存在一个瓶颈，使我们无法一直训练同一个模型，而只能从旧模型中提取全部数据，从头训练一个新模型。这正是 Charlie 所说的：可塑性与灾难性遗忘的某种组合。如果你只是天真地在非平稳数据上训练，因为你在训练过程中不断加入新数据，这就扰乱了数据分布，于是旧的东西就被遗忘了。我们目前并没有真正好的方法来阻止这种情况发生。 所以也许在极限情况下，你只能受限于用所有这些新信息从头重新训练模型。 Beren Millidge 是的，这当然非常昂贵。从头训练一个模型是很昂贵的。 但你无论如何都会这么做。 Beren Millidge 不一定。也许最终，如果你有了持续学习，你就永远不会训练新模型。你只是有一个模型，它不断学习并扩展。 但可能存在某些深层技术原因，使得这非常困难。 Charlie O’Neill 这就是问题所在。我认为我们已经推迟了需要从零开始做多少工作。现在完全有可能拿预训练基座，在其之上做非常好的中期训练，某种程度上是持续进行的，再加上从训练后期不同检查点出发的一些 RL。这看起来更像是持续学习，但肯定不是那种拿最新模型、应用几个非常小的更新、然后迭代式地永不丢失任何东西的情况。 抱歉，但我有点困惑，因为这难道不就是训练过程中发生的事情吗？在后训练之类的阶段，你有一个已经经过了大量训练的模型，然后你蒸馏某个经过进一步 RL 的分叉。这难道不就是字面上发生的事情吗？ Charlie O'Neill 但它的规模仍然足够大，我认为，你在洗掉大量噪声，而且你不只是聚焦于一个分布，正如 Beren 所说，那才是问题所在。如果你只是聚焦于一个任务—— 但在最终的状态下，你会做的是……有数十亿个已部署的实例。你同时从所有实例中学习，所以希望噪声能从中被洗掉一些。 Charlie O'Neill 也许在那个规模下，是的。 Beren Millidge 正如 Charlie 所说，你确实可以长期进行持续的中期训练，也可以回滚到某个检查点并给它新的中期训练数据。但与此同时，你不能无限期地这样做。如果你只是一直持续训练同一个基座，它会在某个点趋于渐近。你无法在那个基座上不断学习新东西。这就是为什么人们最终会训练新的基座。否则你就会永远对同一个基座进行中期训练。 01:00:33 – 数据能解释多少进展？ 现在让我们谈谈数据。我普遍感兴趣的一个问题是，AI 的进展有多少仅仅是由数据进展所解释的。这并不意味着它必然难以自动化，但那是另一个问题。是否存在某种数据分布，如果你用当前架构在其上训练，就会产生一个在所有领域都完全碾压人类专家的超级智能？ Charlie O’Neill 我们说的是预训练加后训练数据，还是也包括环境？我认为它的存在是显而易见的。问题只在于我们能否创造出正确的环境来实现它。 Beren Millidge 在最简单的情况下，我们可以直接训练它输出那个训练出真正超级智能的 Python 文件。只要把它记在权重里就行了。 Charlie O’Neill 是的，或许可以构建出一套 RL 环境阶梯，使得你最终能得到一个至少与人类研究员同等优秀的 AI 研究员。但每向上攀登一级，所需的投入大致呈指数级增长。这两者就是你必须权衡的因素，决定了我们多快能到达最后那一级——也就是 AI 表现更优的那一级。我认为这一点相当清楚。 我们在 RL 环境的创建上仍处于相对早期的阶段。为了构建出好的环境，我们利用了许多不对称性。我们之前讨论过的一个不对称性是：有些环境往回走比往前走更容易。我的意思是，定义一个复杂的数据生成过程非常容易，而这个潜在变量是你对模型隐藏的。你可以生成任意复杂的环境，而模型必须花费大量不可约的 token 开销和不可约的工作量，才能弄清楚那个数据生成过程究竟是什么。 在从真实世界注入信息方面也存在不对称性。Anthropic 通过数万人类与 LLM 的协作发现了一个 bug，并将其转化为一个非常非常精巧的环境，单个 LLM 理论上可以在几百万 token 内找到它。我们正在挑选利用所有这些不对称性，并指望这种任务跨度上的泛化能力。 但我认为，它在某个时点终将遭遇收益递减——首先是创建这些环境本身的难度所带来的收益递减，也就是设计出这些环境，因为你未必能简单地拥有那种"倒退比前进更容易"的流程。你实际上必须坐下来，构建出某种对人类而言时间跨度足够长的东西，而这将是一项极其复杂的创建任务。此外，智能体实际执行这些任务时还会面临算力和时间的瓶颈。我认为你将会开始看到这条曲线趋于平缓。 John Schulman 我看到一些关于有人微调Talkie 模型的内容，这个模型只用了截至 1930 年的数据训练，却用现代编程智能体的数据做了微调。它的表现超过了Claude 3 Opus在SWE-bench上的成绩。所以这个对代码一无所知的模型，只需用适量数据微调，就能作为编程智能体表现得比这个大得多的预训练模型更好，这相当疯狂。它某种程度上说明，一旦你有了正确专家行为的范例，把它复制到一个相对较弱的模型里其实出奇地容易。 Charlie O'Neill 但有一个反例是最近的一篇论文，他们把模型训练到五年级数学的水平，还包括小学英语之类的内容，所以它已经算是一个不错的语言模型了。他们尝试用 RL 让它做高中后期和大学水平的数学。差距实在太大了。他们根本没法让它往上爬。但如果你一级一级地来，先七年级数学，再八年级数学……以此类推，你显然能爬到十二年级。说到底，问题就在于这些阶梯上每一级之间的间距有多大，以及造出这些阶梯有多难。 Beren Millidge 这又回到了 RL 信号的问题上。RL 目前在探索方面还不太行。如果模型在 128 次 rollout 里都做不出来，那它极不可能获得推进下去的梯度信号。这就是为什么在 RL 中我们需要课程，而在预训练中我们不需要，因为这对预训练来说根本不是问题。 Charlie O’Neill 同样，预训练数据和后训练数据是不同的。我想随着我们继续往前走，人类的参与会越来越少，但这并不改变一个事实：你能从真实世界中提取多少信号，始终是一个瓶颈。 世界上存在大量信号，这没错。有人在处理电子表格任务，有人在处理法律任务，诸如此类。但就当前模型所处的性能前沿而言，世界上究竟有多少比特是真正与提升模型能力相关的？有多少新的数学问题正在被解决，而这些问题恰恰超出了当前模型的能力范围或理解力？有多少新的编程问题正在被创造或解决，而这些问题超出了当前模型的能力范围？ 我认为这就是收益递减出现的原因，因为即便整个世界作为一个整体，也无法提供那些能把你推入下一个能力盆地所需的有用比特。 Beren Millidge 我完全同意这一点。这本质上是一个信号来自哪里的问题。在预训练中，信号已经存在于Common Crawl中了。对于预训练中你关心的那些任务而言，问题根本不在于获取信号，而在于过滤掉所有存在的噪声。而这是一个相当可自动化的过程。 但随着模型变得更强，随着我们进入中期训练和后训练阶段，信号在我们已有的原始数据中根本不存在于任何地方。再多的过滤也无法得到它。Common Crawl 里并没有什么隐藏的千禧年大奖难题证明，等着我们去过滤直到发现它。 到那个时候，你必须通过其他方式获取比特，要么直接从人类那里获取，请他们写出自己的推理过程，要么创建环境，由人类来决定应该创建什么环境以及这些环境的目标是什么，或者基于部署中已有的人类数据进行某种训练。你必须从某个地方获取比特。 有一个问题是，预训练中有多少进展是由数据驱动的。我和Jerry Han一起做了这项研究，他是普林斯顿的学生，我们把 2019 年至今的所有训练配方与 2019 年至今的所有数据集进行了两两配对训练。你把GPT-2放在最新的数据集上训练，比如Ultra-FineWeb。你把Delphi——最新的开源训练配方——放在the Pile或一些旧数据集上训练。你把整个网格都跑一遍。然后看，要达到某个能力水平，在这个网格中，能少用多少算力？ 你会发现，数据似乎能解释大约 12.0 倍的算力效率提升，而架构改进在非常小的规模上大约能解释 3.7 倍的算力效率提升。如果这在大规模上也成立——即预训练算力效率提升的大部分来自更好的数据——那这种趋势还能持续多久？你能不断加大数据过滤力度、构建越来越多的合成数据吗？你对这类预训练进展还能持续多久有判断吗？ Charlie O'Neill 我的先验判断是，低垂的果实某种程度上已经被摘完了。我们得到了互联网这一大块资源，而互联网本身未必以同样的速度增长。互联网上所有有用的内容也并非以同样的速度增长。我们大概还剩下一堆 0.1% 的损失下降空间，但肯定没有目前已发生的那么多。 但同样非常有意思的是，你发现两者合计带来了 33 倍的改进。我记得是 Epoch 或某个人估算出自 2019 年以来每年 3 倍，这意味着大约是 37，超过 2,000 倍的改进。那么缺失的那 100 倍左右是从哪里来的？这大概能给你一个很好的信号，说明其中有多少来自后训练。 我认为解释只能是，很多计算效率的提升是依赖于规模的，而我们是从极小的规模起步的。这就引出了一个问题：数据计算效率的提升和算法计算效率的提升，哪一个对规模的依赖性更强。我不知道你对此是否有先验判断。我们只是没有足够的算力来研究这个问题。 Charlie O'Neill 单纯从直觉上、理论上讲，架构对规模的依赖性是比较为人所知的，你可以拟合出一条直线。而对于如何把预训练加上后训练数据以及中训练数据结合起来，我完全不知道该怎么去做。 Beren Millidge 说来有趣，我觉得数据实际上随着规模增长反而更加重要。我觉得架构在某种程度上是一次性的东西。 只说效率提升了 X% 其实是有些误导性的，因为架构的作用是让你进入一个全新的定性阶段，这是旧架构无法企及的。在那个阶段里，数据显然是决定性的因素。 但如果我们连 GQA 都没有，如果我们一直做全注意力，那么做百万上下文会贵得离谱。正因如此，我们永远无法利用真正处于百万上下文的数据，也就无法获得这些能力。尽管如果你只是简单地看“这在 2K 上下文下表现如何”，此时架构并没有解锁任何新东西，那么数据看起来就会比它实际上重要得多。我不确定这些东西真的只是以这种方式相乘叠加的。 我明白了。那你怎么看数据的规模依赖性？ Beren Millidge 关于规模依赖性，我认为我们现在拥有的很多中期训练和后期训练数据实际上会随着规模增长而变得更好，因为其中很多——那些超长上下文视野的环境类数据——确实需要大模型才能加以利用。如果你试图用 1 亿参数的模型在 SWE-bench 轨迹上训练，它不会有什么进展。它不会展现出你用真正合理规模的模型训练时所能获得的那种提升。 Charlie O’Neill 现在这也很困难，因为很多架构上的变化——比如你看 Kimi，或者 DeepSeek——他们做这些架构修改时，不仅仅考虑降低预训练损失，还考虑模型在真实世界中会如何被使用。推理效率，比如 DeepSeek 模型中某种形式的压缩注意力，未必是围绕某种根本性的权衡改进来设计的。它只是，“好吧，我们在考虑模型将如何被使用。” 我很好奇的一个问题是，为了理解未来，随着我们进入一个更偏 RL 的范式，参数扩展会如何发展。你可以看看开源架构，看看参数扩展得有多快。也许前沿开源模型大致每年翻倍。以至于即便前沿闭源模型有 100B 或 200B 的 active parameters，你认为这还会逐年翻倍吗？ 或者，既然我们现在处于一个 RL 范式，你还想在 rollouts 上节省算力……另外，也许存在某种阈值效应：一旦你有了足够的容量，到那时任意增加参数就没那么重要了。你们对 2030 年一个前沿模型会有多少 active parameters 有概念吗？ Charlie O’Neill 我认为，未来几年，由于我们如此专注于为强化学习做越来越长时程的 rollout，而推理效率在其中至关重要，模型在这方面能力似乎未必已经饱和。瓶颈仍然在于环境。所以我们可能会看到一点平台期。 我有一种感觉，Mythos 和 GPT 系列模型远小于人们谈论的 10 万亿参数这个量级。哪怕只是拿它们和开源模型做个朴素的对比，你大概也能反推出这个结论。 大概未来几年，我不会设想参数量会有巨大增长。但话说回来，这里要权衡的东西太多了。你根据自己有多少预训练数据来决定模型规模，然后再考虑你要训练的强化学习环境的难度。理想情况下，你希望达到那个最优点：在你手上最难的环境里也能拿到不错的 pass@1 之类的成绩。做一个更大的模型去通过那些环境就没意义了，因为那样你只是在支付远超所需的推理成本。 所以这在很大程度上取决于 Mercor 和内部团队能以多快的速度，把他们用于训练的强化学习环境的复杂度扩展上去。 John Schulman 我预计模型会继续变大，只是因为人们在扩大算力规模，GPU 也在变得更大。但具体会变大多少，在一定程度上取决于那些并不显而易见的扩展规律。 有一点是，我认为数据效率将比人们所用具体架构的计算效率成为更大的驱动因素，因为我们现在正进入高质量预训练数据日益枯竭的阶段。这可能会影响你想让模型做到多稀疏。 我还认为我们对稀疏性的理解还不够深入。参数量与激活参数量是不同的资源。稀疏性确实有所增加，但并不清楚它是否会无限制地持续增加。可能存在某种最佳平衡点。 有一种观点认为，稀疏性应该会让数据效率变差，因为你可能不得不在多个专家上学习同样的东西，不过这一点尚有争议。我认为我们对缩放定律还没有足够好的理论，无法真正理解稀疏性为什么有帮助、能帮多少，以及它是否会在某个稀疏程度下趋于平台期。 抱歉，你能具体说明一下数据效率对参数量究竟意味着什么吗？听起来你会说应该减少稀疏性，但对参数缩放还有哪些其他影响？ John Schulman 就是说，在缩放定律下，你并不是在试图优化计算效率。你在架构上有各种可以做的选择。每一种都会给你带来不同的缩放定律。传统上，你会基于算力去看某种包络线。你会看性能与算力的关系，然后取最佳模型的包络线。 但如果我们基于数据来做这个决策——我们假设可以投入大量算力，于是数据就取代算力成为我们的 x 轴——那么我们只会得到一组不同的最优解，或者说一组位于该前沿上的不同模型。 Charlie O’Neill 我也不认为过去几年我们每年都把模型规模翻了一番。人们训练 1 万亿参数模型至少已经有好几年了。甚至还有一个开源的叫Falcon. Liam来自Periodic Labs，我想，昨天在 Twitter 上发帖谈到一个早期实验是在训练一个非常非常稀疏的 1 万亿参数模型。 John Schulman 这就是他们在 OpenAI 之前于 Google 所做的，Switch Transformer。 Charlie O’Neill 它在知识方面非常非常出色，但在推理方面却很糟糕，因为它过于稀疏。感觉我们已经在 1000 亿到 2 万亿参数这个区间里摸索了有一阵子了。它显然不是那种漂亮的线性增长。 Beren Millidge 我觉得有两点。正如 Charlie 所说，推理效率对 RL rollout 至关重要。这会大幅压低激活参数量。 我认为总参数量在很大程度上也取决于硬件。要真正能够服务数万亿参数的模型，你确实需要非常高的内存带宽和VRAM容量。目前，人们仍在大量使用H100之类的东西。随着所有人转向GB，然后再转向Vera Rubin，我们将获得更多扩展能力，真正能够在更大规模上服务并进行大规模 RL 推理。 数据这个问题我觉得很有意思，因为从直觉上看，更大的模型在实际数据点上的样本效率要高得多。即使你没有让模型饱和，做大仍然更好，因为更大的模型泛化能力更强，在相同数据量下能达到更好的 loss。目前我认为我们有很多数据，这不是约束条件。算力才是。所以我们有了推理效率很高的小模型。但如果算力不再是瓶颈，可能又会回到更大的模型上——这些模型处于未饱和状态，但因为规模大得多而具备这种泛化能力。 如果你只看基本的Chinchilla 缩放定律，只是把参数量最大化，实际上达到相同 loss 所需的数据量减少得非常少。如果你把参数量推到无穷大，我认为所需的数据量下降不到 10 倍，这仅仅是因为幂律的本质。 Beren Millidge 但我们现在已经处在 Chinchilla 定律中数据过多的那一侧了。眼下按照 Chinchilla 定律，我们对模型是过度训练的。所以，随着数据逐渐耗尽，我们很容易回到 Chinchilla 最优点，甚至稍微偏向模型训练不足的那一侧。 Charlie O'Neill 但可以肯定的是，即便有这些新上线的芯片，未来几年我们在算力上仍会严重受限，所以情况未必会如此。 Beren Millidge 这实际上取决于你训练算力与推理算力的比例。如果你严重受限于数据而非算力，就应该把模型做大。如果你严重受限于算力，就应该始终把模型做小。你也可以使用计算机生成的合成数据，所以这是那种极难预测的事情之一。 John Schulman 我认为，人们最初之所以花了那么久才搞清楚缩放定律，部分原因在于：如果你没有把所有这些事情都做对，就不会得到那么干净利落的关系。图表上那些漂亮的直线，掩盖了大量的复杂性——你必须确保以正确的方式缩放每一个超参数，或者以某种可缩放的方式参数化你的优化器，使得你在改变模型规模时不必更改超参数。 Charlie O'Neill Bug 也有它们自己干净的缩放定律。比如 Kaplan忘了 余弦退火那回事，甚至只是没有考虑 嵌入向量参数，我觉得都是如此。这搞乱了较小模型上的估计，因为嵌入向量参数在模型中占了相当可观的比例。 01:18:03 – 为什么 RL 效果这么好？ 稍微谈谈 RL。一年前，很多人都在提出这样的论点：RL 在模型缩放方面不会特别成功。John，你写了一篇研究论文，其中指出模型在 RL 时每个 episode 只学到一个 bit。它们学到的是：“我答对了还是答错了？”然后我今年早些时候写了一些博客文章，我当时说：“情况比那还要糟”，因为当通过率很低、模型极不可能答对时，它从一次 RL episode 中几乎什么都学不到。 但看看今天的模型，它们看起来相当聪明。这似乎是扩大 RL 规模的结果。Beren，你几周前写过一篇文章，试图解释到底发生了什么。为什么 RL 的成功超出了人们天真的预期？ Beren Millidge 我认为 RL 的成功归结于一系列不同的因素。首先，有一点被略微低估了，那就是中期训练。我们所看到的 RL 的成功，很大一部分实际上来自非常非常好的中期训练数据，也就是我们本质上在做预训练，但用的是合成推理数据以及那种能让模型为 RL 热启动的环境。这通常能把模型带到距离最终 RL checkpoint 大约 80% 的位置。 然后 RL 在此基础上所做的，本质上就是调整策略。这也是为什么它不需要像你天真想象的那样多的 bit。它不必从零开始学习所有这些行为。它只需要从这些 episode 中获取几个 bit，而你确实能得到这些 bit。我在博客中还指出的另一点是，与常规预训练相比，这些 bit 的信号极其强，这就是为什么你需要 RL，而不是仅仅在成功的推理轨迹上做 SFT。 因为那恰恰是关于如何得到正确答案的 bit。 Beren Millidge 有两件事。是的，第一，它恰恰就是关于如何得到正确答案的那些比特。但这并不完全是你想象的那样，因为在 SFT 中，你有一条轨迹。比如说，你有一堆数学推理，然后最后是答案。那些比特仍然在那里。你仍然在答案 token 上做 SFT。 重要的是，目标函数忽略了所有其他的比特。在 SFT 中，你必须尝试匹配模型产生的确切推理 token。你本质上是在获取过多关于你所训练的另一个模型具体如何推理的比特。而在 RL 中，你只得到那一个比特。这意味着该信号不会被模型拥有的所有其他比特的噪声所淹没。 这确实是训练过程中信噪比的极大提升，这也是为什么 RL 在步数效率上如此显著高效。 Charlie O'Neill 关于 RL 对模型做了什么，与中期训练或 SFT 或其他方法相比，一直有大量争论。每个人都在谈论 pass@1 会上升，但 pass@256 会下降。非常罕见的正确推理轨迹会被降权，并被来自更容易的推理轨迹的梯度信号所压倒。 我认为现在看待 RL 的简单方式是：如果你有足够大的算力来采样足够大的组大小——使得你获得一批正确答案的概率超过某个并非微不足道的概率——那么它就会被加权提升。就 Beren 的观点而言，中期训练和更多的预训练——即 RL 的起点 pass@1——随预训练 token 数量呈对数增长。 我能问一些非常基础的问题吗？那个回答说得通，也许有实证研究表明情况确实如此。但接下来我看看这些模型本身……我不知道发生了什么。也许你可以让我了解一下，过去一年 AI 进步的根基是什么。 也许它只是把那些本来就会进行正确思考的策略上调了权重。但从定性上看，模型的能力似乎提升了很多。也许这里并不存在内在矛盾。但我们要如何调和这种说法所暗示的 RL 影响相对较小，与模型似乎正在获得的实际定性能力之间的差距呢？ Beren Millidge 这里我想指出的一点是，这并不必然意味着 RL 的影响很小。即使你只有几个 bit，而且只对参数做了很小的改动，对函数空间——也就是模型学到的从输入到输出的映射——的实际影响仍然可能极其巨大。哪怕一个 bit 也能大幅改变你的函数空间。它可以排除掉一半的假设空间，这是巨大的影响。 我并不认为，少量的 bit、少量的 RL，一旦你从一个非常好的起点出发，就必然意味着你不会在行为上产生巨大的影响。至少……不一定。 Charlie O'Neill 我认为归根结底是两点。第一点是，大家都曾希望 RL 能把这种推理泛化到所有这些不同的领域。我并不认为我们真的获得了这种横向泛化。仅仅在数学上训练，并不一定就能让你成为最出色的程序员。你确实必须在代码环境中做 RL。 不过我认为我们确实获得的是时间跨度上的泛化。模型只是学会了如何使用更多 token、持续更长时间，并且仍然在某种任务上取得进展。你可以在那些让它们持续越来越久的环境中训练，然后把它们放进一个全新的环境。是的，它们可能并没有泛化出那种能让它们在该环境中表现出色的推理模式，但它们至少泛化出了在这项任务上持续更长时间的能力，而这与成功是相关的。有一篇叫 EdgeBench 的论文表明，模型能够持续工作更长时间的能力大约每三个月翻一番。这是泛化的明确证据。 最后一种思考方式是，在预训练中，存在一种量子的概念。你有一条非常平滑的预训练损失曲线。当你观察模型内部发生的事情时，模型正在学习所有这些非常离散的任务，并且存在所有这些出现相变的涌现点。它以前没有 induction heads，现在它有了 induction heads。这些东西有成千上万、数百万，可能数亿个。你把它们全部平均在一起，就得到了这条非常平滑的损失曲线。 在某种程度上，RL 也在发生类似的事情。正如 Beren 提到的，存在这样一个非常缓慢的外层循环。我们会训练一个模型，然后对它做 RL，接着在下一轮模型训练迭代中，我们会把一大批这样的合成推理轨迹倾倒进中期训练数据里。我们差不多是在为所有这些不同的任务逐一攻克各个量子台阶，而在单个任务层面上，它可能看起来像是一次相变。你突然之间就从某个特定金融任务或 Excel 任务之类的 0.5% 通过率，跃升到了 90% 的通过率。 但当你把所有这些加在一起取平均，再加上 horizon 泛化，你就会觉得，“哇，我们得到了定性上更好的模型。” Beren Millidge 我觉得这其中很大一部分也只是……RL 确实会有一点泛化。你会在数学和代码之间，或者谜题和数学之类的东西之间获得一些迁移。而且，人们所针对的环境数量本身就大大增加了。以前，两年前，当你尝试做某个日常生活中会做的任务时，实验室根本不会太在意这个。他们不会为此训练模型。现在范围就广得多了。他们有很多针对这个具体事物的环境。 01:24:54 – 第 37 手与熵坍缩 在之前的对话中，我们谈到了 RL 在导致这种熵坍缩方面的背景，或者说只是把概率集中到基础模型已经做过的解上，并导致策略中相对稀疏的更新。 但我觉得关于强化学习还有另一个故事，那就是回到Atari 游戏，然后是AlphaGo下出的第 37 手，那步极具创造力的棋。因为它从未用人类数据进行初始化，所以它能以人类根本不会去思考的方式进行思考，并得出极具创造力的解法。 你觉得我们什么时候应该期待——或者说是否应该期待——大语言模型上的强化学习能产生类似第 37 手那样的东西，即超越人类创造力的极致创造力，因为智能是从零开始初始化的？ Beren Millidge 这里有几件事要说。首先，我认为 AlphaGo 用的是MCTS，它显然比普通的策略梯度做了更多的探索之类的事情。但我也认为强化学习并不一定会降低创造力。 这显然是定性的，但如果我们看看OpenAI-Hugging Face 事件，这些模型一次就能想出多个零日漏洞来突破沙箱。这显然已经达到了某种程度的第 37 手式创造力，而这只是我们从大语言模型的一般泛化特性中获得的。强化学习绝对不是在彻底摧毁熵，尤其是在长时程上。 John Schulman 人们所称的创造力，有一部分不过是解决困难的搜索问题。AlphaGo 的 Move 37 显然就是一个例子，或者写一首满足大量不同约束的诗。如果针对这方面进行训练，AI 显然会非常擅长这类事情。 然后还有另一个方面：经过 RL 之后，模型输出的多样性大幅降低，它们会养成一些固定的小毛病。尽管这些模型看起来很擅长写作，但当你做某种分布分析时，会发现它们一直在重复使用某些主题，一直在使用相同的角色名字。你得不到人类作者那种多样性。你得到的是一种非常出色的风格。所以我认为这种多样性肯定已经被 RL 大幅削减了。 事实上，既然我们之前谈到了知识蒸馏，正在发生的一件事是，非常多的人在进行蒸馏，而且主要是从 Claude 蒸馏，以至于所有 开放权重模型的写作方式都和 Claude 一样，有着相同的小毛病。这让我觉得有些令人担忧——我们正在形成这种单一文化。 Beren Millidge 不过，我再次认为这并不是 RL 作为一种方法的根本问题。知识蒸馏也是如此。即便是知识蒸馏，你也只是在数据上进行训练。你的数据不够广泛，并不意味着训练方法本身有什么问题。这是数据的问题。 我认为，比如说，很多 RL 熵坍缩基本上都是因为在环境多样性不够高时，对相当简单的验证器进行了利用。比如写作，大概是某个评判模型来打分的。这个评判模型有一些特定的癖好，而模型正在学会奖励黑客攻击这个评判模型，这就是它坍缩的原因。但这实际上是评判模型的问题，而不是 RL 本身的问题。 01:28:32 – 快速问答时间线 好，关于未来的超快速预测。我想就以下几个问题给出时间线。到什么时候我们会有这样的模型……以下是它对用户的感受。你基本上可以把它当作一个即插即用的远程工作者，用于各种白领工作？不只是编程，还有视频剪辑、法律、律师助理等等。它实际上就是一个真正的远程工作者，具备完整的计算机使用能力，能够无缝地学习和运行长达一个月，执行需要与他人互动的复杂项目等等。人类工作者在一个月内能做的一切。 Charlie O'Neill 如果你强制它使用浏览器之类的——而不是由公司把信息设置为可通过程序访问——那也许要几年。但如果不是基于浏览器的——它可以发送 Slack 消息，它可以做所有这些事情——我大概还是会说一年左右。 Beren Millidge 我想说，大概需要三年才能实现完全的通用性。但正如 Charlie 所说，最终会有很多人让自己的组织对 AI 更友好、更易于使用，所以在那之前你就能达到 80-90% 的程度。 抱歉，但一年和三年之间的差别简直就是…… Beren Millidge 我认为会有一大堆杂七杂八的长尾任务，某些人类能做，但模型需要相当长的时间才能完成。 你指的是计算机方面的东西，还是基础认知能力？ Beren Millidge 我认为这归根结底取决于我们能多快解决这种在线学习的问题，以及我们能否通过压缩和给自己写文件之类的方式达到 80-90% 的程度。这是我最大的不确定性。我真的不知道。 Charlie O'Neill 一个它不擅长的例子是：如果我必须冲某人大吼才能在工作中拿到东西，或者真的去催某人把事做完。模型就是不会那么做。它太友善了。 John Schulman 我想说，人类远程工作者的质量差异很大。如果你试图从 Upwork 上雇人做一个软件工程项目，质量差异会非常巨大。通常很难让他们做好工作，或者认真对待你给出的所有反馈。我猜测，在某些情况下，前 AI 时代的这种模式比你现在从现有 AI 那里得到的还要差。 我认为最终可能会有点复杂，因为某种程度上，对于一些质量不太高的工作，我们已经有了这种形态。但显然，在某些更高质量的工作形式上，我们还没有达到人类水平。但我基本上同意 Charlie 和 Beren 的看法，也许一年左右我们会有某种版本的这种东西，还算可以。我们会拥有那种形态，它能非常好地完成一些事情，另一些事情则做得不那么好，然后从那里开始不断改进。 Charlie O'Neill 我们一直在根据那条非常长的长尾不断移动球门柱。我感觉你之前用过报税之类的例子。今年，我直接让 Codex 去把我需要的所有东西都弄来发给会计师。有一大堆东西它得用电脑点击操作并下载。它做到了。完美无缺。很多这类事情它已经能做了。 好吧：给你 10 倍的整体生产力提升。基本上，如果现在你需要一年才能取得一项突破，那么你每个月都能取得一项突破。 John Schulman 我觉得我干脆拒绝给你一个标量数值。在某些类型的工作上，我们可能已经超过那个点了。比如说，你在尝试做某些类型的数学，而—— 哦，抱歉。但对你这样试图推进 AI 研究前沿的 AI 研究者来说呢？AI 研究者被加速或提升了多少？ Charlie O'Neill 大概 5-10 年之间？ 哦，真的吗？好吧，那还很远。 Beren Millidge 真的吗，你觉得这比一个通用的远程工作者还要久？有意思。 我意识到你对"完全通用的远程工作者"的定义可能非常不同。我早该说清楚的。 Beren Millidge 确实如此，因为显然一个 AI 研究者也可以是远程工作者。 Charlie O'Neill 我想的是普通白领工作在一个月周期内的情况。我觉得超过两个月后就开始有点分化了。 一个非常称职的白领工作者，但不一定是极具创造力的研究员。 John Schulman 我会说两年。 两年？10 倍？好吧。你呢，Beren？ Beren Millidge 其实我大概能理解，因为现在在编程方面肯定已经超过 10 倍了。所以如果它能做哪怕一两轮实验反馈的循环，那已经会是巨大的飞跃了。 所以，AI 研究员的生产力在两年内提升 10 倍。如果你把这个代入一个非常朴素的 AI 进展模型，看看其中有多少来自 AI 研究员，而他们的生产力又提升了 10 倍，那么从两年后开始，AI 进展的速度将被极大地加速。 Beren Millidge 我认为这意味着 AI 进展的瓶颈将不再是 AI 研究员运行小型实验的能力，而是会转移到其他方面。 当然。但它就是快了 10 倍，这本身就是件大事。这也会让下一件事——带来 100 倍加速的那件事——更早发生，以此类推。 Charlie O’Neill 我愿意在那件事上多花一点时间。 关键点是什么？ Charlie O’Neill 我吸收信息、并对下一个实验做出贝叶斯最优决策的能力。 Beren Millidge 我假设你可以把其中一部分委托给 AI。AI 在决策方面正变得相当不错。它运行了这个实验，得到了这个结果，它就去运行下一个实验。如果它能连续运行两三个实验而不崩溃，那实际上就是一个很大的提升。 好，最后一个问题。一个在所有可以通过计算机完成的工作领域中都能超越顶尖人类专家的 AI。所以不只是 AI 研究，而是所有认知工作。不只是短周期的工作，而是字面意义上，即使需要三年左右，AI 仍然会比人类做得更好。 Beren Millidge 这基本上就是 ASI 了吧？ John Schulman 我会说是 3-4 年。 什么鬼？我是说，这看起来倒也没错，但是—— John Schulman AI 显然正受到越来越多的关注。这是比较难的事情之一，但大量精力正投入其中。它对 AI 来说也不算最难的事情之一，因为它涉及大量代码和数学，而模型在这方面非常擅长。 对于涉及 3D、空间和物理的东西，我认为那会需要更长时间。如果是机械工程之类的，而且目前没有得到最多的关注，那可能需要更长时间。 但它也确实包括一些由于领域性质而数据相对较少的领域，模型必须边做边学这些数据。例如，它必须在台积电（TSMC）当工程师这件事上达到超人水平之类的。 John Schulman 所以你得假设你能给 AI 同样的入职培训材料。然后还得解决更长周期学习的问题。 Charlie O’Neill 我会说 5 到 10。 所以基本上，你认为自动化 AI 研究是 ASI 完备的之类的？ Charlie O'Neill 是的，我想是这样。我觉得世界上有太多事情，即便你有一个模型外部的某种记忆系统，即便上下文长度增长了一些，但有些东西从根本上来说，即便你可以自己去检索信息或做笔记，你今天仍然需要一个超过百万 token 的上下文窗口。 Beren Millidge 我在 5 年这个时间范围上大致同意，至少对于各家实验室正在聚焦的那些东西来说是这样。但我觉得会有一条很长的尾巴，那些东西 AI 理论上可以去学习，但没有人费心去做，算力也没有分配到那上面。所以要真正做到覆盖每一个人类专家，可能需要更长时间。 抱歉，我这么说也包括了像人类一样快速学习一个新领域的能力。 Beren Millidge 我觉得那未必是必要的，因为 AI 将拥有远超任何人类的经验。 非常感谢各位参与这次讨论。我觉得这是一个很好的形式，让不同的专家表达分歧、展开辩论并一起探讨。非常有收获。 John Schulman 感谢邀请我们。