# Dwarkesh 对谈 Noam Brown：智能体集群、对齐与递归自我改进 - 来源：Dwarkesh Patel：Podcast & Blog（RSS） - 作者：Dwarkesh Patel - 发布时间：2026-09-17 23:38 - AIHOT 分数：71 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.news/items/cmu5qsx2y0gpfroqonmogw4sk - 原文链接：https://www.dwarkesh.com/p/noam-brown ## 精选理由 OpenAI 研究员 Noam Brown 亲述万级智能体协作机制与对齐判断，读者可以借此了解推理扩展、智能体协作和对齐风险的一手观点。 ## AI 摘要 Dwarkesh Patel 采访 OpenAI 研究员 Noam Brown，谈多智能体系统、对齐与递归自我改进。 ## 正文 今天，我和Noam Brown聊天，他是 OpenAI 的一名研究员。他是后来成为o1以及推理模型的基础贡献者之一。现在他正在研究多智能体系统。说到这个，你们上周宣布你们用一套由 10,000 个不同的千禧年大奖难题组成的系统，解决了其中一个AI 智能体，它们在 88 小时内消耗了 1300 亿个 token。 我想和你聊聊的原因之一是，大概两三年前，你是最早思考推理模型如何让我们窥见未来的人之一。因为如果你扩大推理算力，你就能看到模型几年后的基础能力会是什么样。 我觉得你现在处于一个类似的位置，可以帮助我们理解未来的能力会是什么样子，考虑到我们现在能够实现的智能体规模的巨大扩展。 Noam Brown 我对此的理解是，当你把这类推理模型的性能画成图，横轴是测试时计算，纵轴是几乎任何推理基准上的表现，你会看到一个非常清晰的规律：这些模型花在思考答案上的时间越长，表现就越好。这是非常自然的事情。人也是一样。如果你考 SAT，只有五分钟做完整套试卷，你肯定考不好。如果你有五个小时，你大概会做得好得多。 AI 模型也差不多。它们会把那段时间用来对自己做一番独白，理清思路，遍历不同的情况，排除各种可能性，在前面的某些发现之上继续推进。 问题在于，当你不断往前推，就会撞上延迟瓶颈。你不想干坐着等三年才等到一个回复。所以你能做的就是很多人已经在做的事——并行化。他们直接拉一个团队。如果你要创办一家公司，你会想召集一群人，这样就能跑得更快。这些 AI 模型也是一样。让多个智能体同时处理一件事会很有帮助，因为它们能跑得更快。 所以多智能体是一种以并行而非纯串行方式扩展测试时计算的方法。它的效率更低，因为不像单个智能体独占全部上下文那样。但如果做得好，它是一种非常有效的扩展测试时计算的方式。 我要问一堆很天真的问题。这是一个尚未发布的模型，所以我们还没有公开看到这些系统是如何运作的。我只是有很多困惑，关于这类系统的定性特征到底是什么。 我对你能在如此短的时间内集中如此规模的认知努力感到震惊。想想 1300 亿 tokens 是什么概念。如果让一个人以全职工作的方式思考，一个 token 接一个 token 地连续推进，1300 亿 tokens 相当于一个人思考 4000 年。按每天八小时、正常每周工作制来算。从古苏美尔一直到现在，一个人以这种单线程方式思考那么久，却被压缩在 88 小时内完成。 我觉得从定性上讲，这是一个极其重要的考量。让我惊讶的是，居然没有更大的并行化惩罚。你可以直接让 10,000 个智能体协作。也许是因为智能体在协作方面比人类更强，它们推进得快得多。它们确实能在如此大的规模上高效协作。又或者，确实存在很大的并行化惩罚。 Noam Brown 我们先聊聊并行化惩罚，然后再谈定性的东西。事实是，对于扩展到这种规模的多智能体系统，我们还没有很好的科学研究。当我们发布 5.6时，我认为那是我们的模型中第一次拥有真正意义上的多智能体系统。我们实际上在博客文章里展示了一些多智能体系统扩展性能的图表，因为我们把它作为一个选项提供。它叫 Ultra Mode。默认是四个智能体，但你可以设置得更高。 在图中，我们展示了一个智能体、四个智能体协同工作、16 个智能体协同工作时在某些基准上的性能表现。这取决于具体的基准，但在某些基准上，你会看到：如果有四个智能体共同解决一个问题，完成速度是原来的两倍。因为四个智能体只花了一半的时间，你付了 2 倍的钱来以两倍的速度得到答案。如果扩展到 16 个智能体，你会看到类似的模式。效率略低一些，但你仍然能看到这种性能提升。 随着并行智能体数量的增加，这是线性的串行时间加速，还是次线性的加速？ Noam Brown 它是略微次线性的，不过这很大程度上取决于具体问题。比如说数学，就相当可并行化。它不是最可并行化的东西，但确实非常可并行化。网页搜索，比如做一份 Deep Research 报告，你需要查阅大量来源，这是极度可并行化的。我猜想，像写小说这样的事情会非常难以并行化。让 10,000 个智能体一起写一部小说，你大概不会看到很大的收益，就像让 10,000 个人一起写一部小说大概也不会有很大收益一样。 所以性能确实取决于领域。在我们已发布的博客文章中，我们最多测量到大约 16 个智能体。问题在于，要把这项研究推进到 10,000 个智能体非常困难，因为成本实在太高了。 你们刚用一个周末就做完了。 Noam Brown 但这只是一个数据点。我们不知道单个智能体解决Navier-Stokes需要多长时间，因为我们还没有做过那个实验。也许将来会做，但那同样也只是一个数据点。 如果我们想做一个彻底的消融实验，在那个规模上实验成本实在太高了。所以我们必须做一些系统性的科学探究，看看当你扩展到 64、128、256 之类的规模时会发生什么，从而对行为有一个感知。但要把这一切一直推到 10,000，并确切知道我们使用 10,000 个智能体相比 1,000 个智能体实际获得了什么收益，将会非常困难。 有一点我想说清楚。解决千禧年大奖难题的努力，并不是归功于多智能体。我甚至不会把 10% 的功劳归于多智能体。现实情况是，OpenAI 训练出了一个非常强大的模型。我们能让那个模型在非常长的跨度上运行。我们能让它并行思考。 但归根结底，我们之所以能做到这一点，是因为我们拥有一个通用的、非常强大的模型。多智能体之类的东西很炫酷、很新颖，正因如此，它可能获得了不成比例的赞誉。但核心原因在于，这本身就是一个非常强大的模型。 这种泛化能力让我相当震惊。我不知道这些系统是如何训练的，但想必它们是按照RL 训练的方式训练的。你有一堆可验证的合成问题，然后针对它们做大量 RL。我猜，在整个训练过程中，模型从未解决过像千禧年大奖难题这样宏大的问题。但泛化能力足够强，以至于这些容易得多的可验证问题能够泛化到在如此困难的问题上投入如此多的并行努力。 Noam Brown 我认为确实如此。首先，我们确实在非常困难的问题上训练模型。差距肯定是存在的。我们看到，如果在某些类型的任务上训练，它就能完成比这些任务更有雄心的任务。 有一个有趣的挑战：随着模型变得越来越聪明，我们能问它们的很多问题都太简单了。很难挑战模型。我确实认为这会很有意思。如果非要我论证为什么你可能不会看到像LLM这样的 AI 走上AlphaGo和AlphaZero以及所有这类博弈 AI 的老路，可能就是这个类型的问题。 在 AlphaZero 这类系统中，你有自我对弈，你有一个无限课程。你总是在与一个实力相当的 AI 对弈。而对于用强化学习训练 LLM 这类事情，至少目前已有的方式，你给模型一个问题，让它去解决。如果这个问题太简单，它一秒就能解出来，那它其实什么也没学到。 如果我们用尽了能挑战它的问题，那么这是一种可能的情景：进步会变得困难得多。不过，我确实认为有办法绕过这一点。我们还没有真正撞上这堵墙。我认为如果它真的成为一个严重问题，会有办法绕过它。但这确实是一种可能的情景。 给听众解释一下，当你提到 AlphaGo 或 AlphaZero 时，你指的是在达到人类水平表现后相对快速地达到超人水平。 Noam Brown 如果你看看博弈类 AI 的发展轨迹，比如围棋，在一年之内，它们从击败欧洲冠军——大概是世界第 50 名左右——到击败世界冠军，再到比任何在世的人类都强大到难以想象、高出几个数量级。在数学这样的领域，我们有可能看到类似的轨迹，但我认为有一种非常可能的情景是这不会发生。 我想弄清楚，如果六个月后人们能用上多智能体系统，那该如何去建模与多智能体系统协作或“雇佣”多智能体系统是怎样一种体验？ Noam Brown 我应该先讲讲这些多智能体系统实际上是如何运作的，我认为这与其他 AI 中的许多多智能体系统的方式非常不同。很多为 LLM 之类的东西探索多智能体的人，往往采用这种高度脚手架化的方式。比如，可能会有一个协调者智能体，把工作分派给一堆子智能体，给它们一个任务。子智能体去做，然后返回它们的答案。 这看起来是一个非常合理的设置，一个非常合理的脚手架。它确实有帮助，但这类设置存在一堆局限。比如，在这种设置里，你有一个协调者向子智能体发送任务，子智能体去做然后返回答案，如果两个子智能体被分配了相似的任务会怎样？它们能互相交流吗？通常答案是不能。这非常低效。 如果你接到一个任务，而和一个可能知道你正在处理的问题的答案——或者你正在处理的事情的某一部分——的人聊聊，实际上真的很有帮助，你能直接 ping 他们说“嘿，你能帮我搞定这个吗？”会非常有帮助。但很多系统没有这种设置。加上它会显著增加你所拥有的脚手架的复杂度。 还有一点是，如果这个“子智能体”并没有真正理解，或者有需要澄清的问题，那它就必须在两者之间做选择：“好吧，我是直接返回去提问，而不是解决问题？”还是“我先把问题解决掉，对‘父智能体’想让我做什么做一个假设，然后就这样解决掉？” 在人们提出的任何脚手架方案中，总会存在各种限制。我们想采取的做法是走向极端：尽可能少地内置结构，给智能体非常原始的工具，让它们自己去摸索如何有效使用这些工具。所以我们赋予智能体向另一个智能体发消息的能力，当它向另一个智能体发消息时，这条消息会被插入到上下文里。 它还能做少数几件其他类似的事情，但基本上核心就是这个。它可以在任何时候发消息——只是一次工具调用——并且可以把它发给其他智能体。 它们会自己摸索出围绕这一点进行协调的最佳方式。事实证明，如果这件事做得好，你会得到非常复杂精妙的行为。在我看来，这很像人类协作者在 Slack 这类工具上协作的方式。 我们做这个项目的时候，最终让它跑起来、看到这些智能体一起解决问题，真的非常令人兴奋。我记得有一个例子。我们给智能体一个问题，然后一个智能体说：“我想我得到答案了。”接着另一个智能体说：“其实，我得到了一个不同的答案。”然后它们就展开了这一整段讨论：“那你是怎么得出那个答案的？能给我解释一下吗？”来回往复，试图弄清彼此的推理中可能哪里出了问题。 然后它们最终会达成一致：“哦，对。好吧，这看起来是对的。”接着它就会向其他智能体广播：“其实，我改变答案了。我觉得他是对的。”感觉就像一场非常自然的对话。 感觉就像你第一次看到通过强化学习训练出来的思维链时那样，你会想：“哦，这就像一个人一边思考一边把想法写下来时会想的东西。”就是那种感觉。看到这种行为真的很酷。老实说，和这些东西协作，感觉很像和一个人协作。就是一种非常自然的流动。 Dwarkesh Patel 不过有一个质的差异，未来可能会变得很突出，那就是这些系统的思考速度可能是人类的 10 倍以上——你只要看看它们每秒输出多少 token，对比人类说话的速度就知道了。它们一直在工作。它们不睡觉。它们彼此协作的节奏远比人类与其他人类协作的能力所能达到的强度要高得多。 我在试着想，一年后从质的角度应该期待什么。是不是就像一个影子组织，在我公司里以比人类层级快 100 倍的速度运转？一个人类组织需要一年才能完成的事，在这个影子组织里一周之内就发生了？ Noam Brown 会感觉陌生吗？我不知道。实际上我发现，现在与这些东西协作出乎意料地自然。我认为这种情况可能会改变。比如说，我们有这些超高速模式，能让采样速度快上 10-15 倍之类的。到那时，要跟上这些东西就会相当困难了。设想是，这些智能体在彼此通信时，可以以极快的速度进行。但它们也明白自己是在跟一个智能体对话，还是在跟一个人对话，它们在这些情况下的行为会有所不同。 Dwarkesh Patel 我们公开拥有的复杂多智能体系统的主要例子，不幸的是Hugging Face 的那个。显然，我在那里发现了很多令人担忧的地方。但我觉得有意思的是，那里自发涌现出了层级结构，出现了中层管理。听起来你是在说，这种层级的组织是从训练中自发涌现出来的？ Noam Brown 细节是自发涌现的。但虽然我们给了智能体很大的灵活性，让它们自行决定以最优方式彼此通信，我们仍然给了它们一个起点。我们给了它们一个先验，关于合理的通信可能是什么样子。它们也在大量人类文本上接受过训练。它们理解人类是如何组织和协调的，所以这些都已经被内置进去了。 我觉得他们能把这打磨到这种程度，实在令人惊讶。如果你看看它最初的样子，行为并不怎么复杂。事实上，要让这些智能体以富有成效的方式协同工作其实非常困难，因为它们很容易就坍缩成“哦，我们各自独立解决问题就行了”。这是一个你可能陷进去的局部最小值。但如果做得好，它们最终能以这类非常结构化的方式实现非常高效的协同。 00:15:28 – AI 公司将会如何运作？ Dwarkesh Patel 我几年前写过一篇文章，讲的是自动化公司会是什么样子。我当时在想，如果你拥有完全自动化的公司，比如说，由人类水平智能组成的公司，那么 AI 心智的本质中有什么不同之处，会让 AI 形成的组织与人类组织不同？有几个非常重要的差异。例如，AI 可以比人类更无缝地共享上下文。它们可以更无缝地融合彼此的知识。此外，你可以任意启动或关停数量不限的、拥有恰当知识的实例。 所以如果你想招更多人，就不必经历寻找合适人才之类的种种麻烦。你最优秀的人才，你可以直接无限复制他们。或者如果你不再需要他们来完成某项任务，你可以把他们关停。你可以复制你组织中最有效的部分，或者把整个有效的组织一起复制。你认为这些多智能体系统在一年后或两年后会走向何方？ Noam Brown 这是个很好的问题：这些东西与和人类同事协作究竟有何不同？你点出了一些。一个非常有意思的地方是，如果你有一个人，想要两个他，你没法直接克隆这个人。但对于 AI，其实非常容易，只要说一句“好，把你自己 fork 一份”，然后让两份副本同时处理这件事，最后再合并回来。我想我们在 Astra 和 5.6 Sol 的多智能体里已经有了这个能力：当它们启动子智能体时，上下文就是被 fork 出来的。所以它拥有所有相关的上下文。 智能体与人类还有其他有意思的不同之处。比如，为什么初创公司能够颠覆在位者？有几个因素。一是它们愿意承担更多风险。但另一个主要因素是，随着组织规模扩大，组织内部个体之间的错位会越来越严重。 如果你有一家五个人的初创公司，每个人持有公司 20% 的股份，他们全都高度一致地希望公司成功。如果你有一家上万人的巨型公司，你会看到多得多的情形：人们划地盘，或者只关心为自己的项目或团队争取大量人头、建立自己的小王国、拿到大量资源，好让自己发表酷炫的工作之类的东西并获得晋升。这实际上是一种实实在在的损害。我认为这在很大程度上解释了为什么初创公司能够颠覆在位者。 诚然，AI 确实在某种程度上帮助了初创公司。如今，一个人站出来说“我要做一家价值数百万美元的公司”比以往任何时候都容易得多。AI 对个人的放大效应非常巨大。但也有人认为，AI 可能更有利于现有巨头。如果对齐问题得到解决，那么公司内部个人之间的不对齐问题就不存在了。至少这一点被缓解了。AI 如果对齐得当，可以直接对齐到公司的利益。你可以拥有 10,000 个 AI，它们都会像持有 20% 股份的联合创始人一样拼命工作。 Dwarkesh Patel 不仅如此，它们在管理共享记忆和上下文方面也比不同的人类强得多。如果你明天雇佣 10,000 名数学家，然后说“去解 Navier-Stokes”，他们无法有效协作，至少不可能一上来就做到。但显然你可以让 10,000 个 AI 做到这一点。 Noam Brown 再次强调，我在这里想保持保守，因为我们还没有测量过这 10,000 个智能体的协调效率到底有多高。我们认为它有帮助。但我们实际上并没有好的测量数据能说“这 10,000 个智能体比 2,000 个智能体带来了 2 倍加速”之类的话。我不确定是否大概率如此，但我认为目前 10,000 个人类在协调方面比 10,000 个智能体更强是非常可能的。我认为这完全可能。 另外，我们一直看到的一个趋势是……你看，我们在多智能体方面已经研究了一段时间，早期的版本非常难以做对。要让这些智能体彼此对话都非常困难。这是因为我们最初开发推理模型时，它们并不与其他智能体交流。如果你现在把一堆智能体放在一起，说“一起解决这个问题”，它们会陷入这样一个局部最优：它们非常擅长深入思考一个问题，而不断与其他智能体沟通或接收它们的消息，只会打断它们的思维链。它会打断它们的流畅思考。在这种情况下，优化实际上非常难以做对。 Dwarkesh Patel 是第一次协作的冷启动问题吗？还是说问题出在哪里？ Noam Brown 我认为问题在于它们不够通用。早期的模型可泛化性不够强，能力也更窄。随着模型能力越来越强，它们发展出这种能力也变得更加容易，而且我确实认为，随着它们在各方面变得越来越强，它们在大型组织中自我组织的能力也会变得更好。我不知道，也许在组织一万人规模的群体方面，它们会比人类更强。但即使不是这样，一年后、两年后，即使我们不对它们进行端到端优化，它们也很可能做到这一点。 00:22:02 – 数学进展告诉我们关于递归自我改进的什么 Dwarkesh Patel 这就是为什么这一结果，或许还有AI 在数学领域取得的整体进展，让我认为RSI比我此前所想的更有可能实现，而且会来得更早。我感觉在数学领域，我们已经从大概 2024 年那种状态——你有了 AI，然后想，“哦，好吧，挺有意思，它们能解几道高中数学竞赛题”——一路走到 2025 年，“哦，哇，它们能在国际数学奥林匹克竞赛中拿金牌了”。今年早些时候，又变成“哇，它们居然真的在解决数学中的未解问题”，比如未解决的 Erdős 问题。但也许当时人们并没有那么努力去尝试，而且文献里某处已经有类似的解法。现在我觉得这已经无可否认了。这是千禧年大奖难题。没有任何理由能解释它本该是容易的。 现在，很多人都指出——我记得Terry Tao发过一篇这样的帖子，Toby Ord也写了一篇很有意思的文章谈到这一点——它们确实在解决很多这类问题，但我没看到它们提出新的洞见，或者提出有洞察力的新问题，以及思考数学的新理论范式，比如提出拓扑学，或者提出笛卡尔坐标系。所以，如果只盯着那些范围明确、能被直接解决的问题，数学领域真正意义上的进展，也许比看上去的要小。 然而，我认为这类进步在ML中会极其有意义，因为在 ML 中你并不关心更好地理解深度学习的本质，或者说你只把它当作达成结果的一种工具性目标。只要解决这个界定明确的问题就行：提升我们模型的样本效率、改善预训练损失、改善别的什么指标。 我们在数学领域看到的那种如雪崩般到来的进步，在结构上非常相似……再说一次，我很好奇情况是否如此，我完全是个外行。我想知道它在结构上是否与你在 AI 进步中预期会看到的直接提升非常相似。 让我震惊、或者说可能令人担忧的是，我们从“哦，它们给了我 50% 的提升”（如果你是数学家的话），到“哇，它们直接端到端地解决了这个领域最大的未解难题”，这中间走得实在太快了。 Noam Brown 这里面有很多值得展开的内容。我们先从数学方面的进展说起。是的，这些模型正在做一些极其强大的事情，而且进展速度比我预期的要快。当我们在 2025 年拿下 IMO gold 时，我当时的想法是……当模型学会做 GSM8K 时，一个人类数学家做一道 GSM8K 题大约需要五秒钟。这是小学数学，K-8 年级的水平。到了第二年，它们就能做 MATH benchmark 的题目了。这些题一个人类专家数学家大概需要一分钟才能做出来。 然后就到了 AIME。这是 USA Mathematics Olympiad 队伍的资格赛。一位优秀的人类数学家大概需要 10 分钟才能做出来，而模型在一年之后就能做到了。所以每一年，你都能看到它们能完成的任务量以 10 倍的速度增长——衡量标准就是人类数学家完成这些任务需要多长时间。然后，一年之后我们达到 IMO 金牌水平，这就非常合理了，因为那是 100 分钟。这大约就是一位人类数学家做一道 IMO 题目所需的时间。 往外推演一下，我当时想，“好吧，一个人解决像千禧年大奖难题这样的问题需要多长时间？”我没有很好的判断，但如果我们沿着这条每年 10 倍的趋势线走，从 IMO 金牌——也就是一个半小时——到第二年，就是 15 个小时。这应该不足以解决千禧年大奖难题。所以我当时想，“我觉得 2026 年不会实现，2027 年大概也不会，也许 2028 年吧。”所以它发生得比我预期的快得多。 现在有一种说法在流传，说这些东西正在取代数学家，说它们在数学的方方面面都超越人类。我认为这是错误的结论。它们在某些方面显然非常出色，但在其他方面比人类数学家更弱。我们面对的是这样一种参差不齐的局面：模型在某些维度上非常聪明，同时在其他维度上又比人类弱。就像你说的，它们不太擅长提出新问题。它们不太擅长理解哪些方向、哪些数学分支值得探索或发展。 我的看法是，我认为这很棒。如果能生活在一个 AI 作为人类能力补充、让我们发现新知识而无需完全取代人类的世界里，我会非常欣喜。那是最好的情况。 Dwarkesh Patel 你不认为这种情况会真正持续下去吗？ Noam Brown 我确实认为 AI 的能力是不均衡的，但随着它们变得更强，它们会在各个方面都变得更强。所以它们特别擅长的事情，会变得更加擅长。它们远远落后于人类的事情，与人类的差距会缩小。随着时间推移，它们有可能在各个方面都超越人类。不过，我不知道这需要多长时间。这取决于它们不擅长的事情的长尾有多长。 Dwarkesh Patel 这就把我们带回了 RSI。再次强调，我想在这里说明，我完全是个局外人。我是个播客主，但作为一个对这个领域正在发生的事情感兴趣并感到担忧的人，我试图推理什么时候该期待 RSI，以及该期待什么样的东西。 投入到这个千禧年大奖难题上的认知努力总量，是一个很好的直觉泵。你可以让 AI 在大约一周的时间里，在一个长期存在的 ML 问题上投入比整个领域有史以来累计投入还要多的认知努力，比如非常流动的在线学习。然后你可能会说：“嗯，当然，与数学不同，AI 需要实验，而实验需要算力，需要时间。你不能只靠纸笔思考就真的让事情发生。” 但只需看看像 OpenAI 这样的组织所拥有的算力规模。解决千禧年大奖难题用了 10,000 个智能体。到明年年底，OpenAI 将拥有足够的算力，假设到明年年底你有 10,000 个智能体。到那时它们要聪明得多。每一个都将拥有足够的算力，每天运行一次GPT-3规模的实验。对于思考速度极快的超人类研究者来说，这看起来很多。你怎么看这个直觉泵？ Noam Brown 我认为这相当准确。这些东西非常参差不齐。在数学方面，它们在某些方面要好得多，但在其他方面也更差。但在我看来，它们参差不齐的方式最终可能对 RSI 这类事情特别有用。你有更清晰的目标。它只是更可衡量。很少有“嗯，哪些新的数学分支值得探索？”这样的问题。不，有一个非常清晰的答案。有你关心的某些指标，如果你能让它在这些指标上表现更好，那你就成功了。所以我认为这有很多道理。 主要区别在于，在数学领域，你纯粹受限于思考。是的，数学中有些部分你需要做实验、获取结果之类的。但绝大部分情况下，它真的只是受限于能否进行深度思考，而模型在这方面非常擅长。 当你看 RSI 这类事情时，你确实必须做实验。仅仅极其聪明是不够的。支持这一观点的一个论据是：如果你的算力少 100 倍，但让全世界最聪明的人都在 OpenAI 工作，相对于我们现在拥有的算力和现有的人员规模，你能取得多少进展？我怀疑实际上进展会更少。 Dwarkesh Patel 少多少？ Noam Brown 不清楚，但肯定会更少。少很多。 少 100 倍？ Noam Brown 不，不是快 100 倍。但你真正想问的是，如果我们有了 RSI，又有这么多聪明的 AI 四处运行，用我们现有的算力做实验之类的，进展会快多少？我觉得这是我们存在分歧的地方。我们确实看到了加速，而且看到了显著的加速。但我不认为这会是一夜之间的 智能爆炸，让我们快 100 倍，因为我们确实会受到某些限制的制约，而这些并不是智能本身的瓶颈。 它在运行实验。它是串行地运行实验，因为无论是训练新模型还是获取结果，都需要一段时间。它需要有 GPU 来运行这些实验。所以事情会快多少并不清楚。我绝对认为会快很多。说清楚一点，考虑到现在事情正以指数级速度发展，如果那个指数速度快 3 倍，那已经是巨大的变化了。但那和快 100 倍之间有着天壤之别。 对于 RSI 是什么样子、或者其动态如何，我相当尊重你的内部视角，因为显然你在这个领域已经深耕 10 年了。我试图从非常外部视角的直觉推演来思考这件事。 Noam Brown 我要说的是，人们对此有不同看法。我对此有自己的看法。我完全可能是错的。我承认这一点。我对此有一定信心，但我并非 100% 确信事情就会这样发展。也许可能会出现一夜之间的智能爆炸，我不知道。也许我们看到的不是 3 倍加速。也许是 50% 的加速。这里面有很多不确定性。 补充几点。顺带说一句，我想澄清一下关于“参差不齐”的一个问题。最近让我豁然开朗的一点是，我意识到：AI 只要在“构建更好的学习器”这件事上参差不齐地表现良好就足够了，因为那个更好的学习器可以更加通用。如果你只是做一个更擅长使用 Office 产品或者下棋之类的 AI，那也行，无所谓。它不会带来大幅的生产力提升或别的什么。 但如果你做出的 AI 非常擅长打造某种样本效率更高的东西，或者具备持续学习能力的东西，或者这些范围界定得更加清晰的 ML 问题，那么从中涌现出来的东西——假设你正在解决的那个直接问题能够足够好地迁移到这种更广泛的学习能力上——就可以更加通用。所以这是一个需要牢记的重要动态：为什么参差不齐仍然可以在另一端通向通用性。 关于这个问题……显然实验会成为你的瓶颈，因为如果实验不是瓶颈，正如你所说，OpenAI 一夜之间就会迎来某种疯狂的奇点。你会有 88 个小时，然后你就能解决相当于 ML 领域千禧年大奖难题的问题，然后你就拥有超级智能了。所以显然实验是一个如此巨大的瓶颈，以至于这反而需要你花很多年，而不是 88 个小时。但接下来的问题是，它们到底在多大程度上构成瓶颈。 让我有点“奇点眩晕”的一件事，是意识到即便当前的进展速度只是简单地持续下去，会发生什么。它并不需要加速。它真的只是按现有节奏继续推进，同时你提到的那些其他阻力也开始显现。找到问题变得更难，任务的时间跨度更长。也许到 2030 年代末，算力无法再以这种指数级水平持续扩展。如果我们只是延续当前的进展速度，人们并没有认真对待这意味着什么——当我们越过人类水平的地平线之后。 以下是它意味着的一些事情。要推理出超越人类的智能会是什么样，真的很难，所以我们不妨就按人类人口规模来思考。当前的进展速度使得，给定水平的算力基本上每年都能让你运行一个有效规模大 3 倍的人群。而且算力本身也在后台不断增长。所以你可能面临这样一种情况：到 2030 年底——可能还要早得多，但我们就说到 2030 年底——每家实验室都拥有足够的算力，基于届时的能力水平，可以运行数亿个达到人类水平的智能体。 然后我认为，人们没有认真对待的是，当前的进展水平意味着几年之后，到 2030 年代中期或更早，每家实验室内部都会拥有相当于许多个地球的人类水平智能体。它们很可能在质上超越人类。无论如何，这是基准情形。 Noam Brown 进展真的非常快，我认为这百分之百属实。值得指出的是，研究人员不断对进展的速度感到惊讶。即便在 AI 研究人员当中，如果你看看对 2025 年拿下 IMO 金牌的预测……认为可以用一个通用语言模型、不用任何工具、也无法访问互联网就能做到，就连 OpenAI 的人也觉得这太离谱了。他们认为这几乎不可能。 然后到了 2026 年。就在我们攻克 Navier-Stokes的整整两周前，我还在和一位前沿实验室的研究员聊拿下千禧年大奖难题需要多久，他愿意跟我赌 1,000 美元，说会拖到 2027 年以后。他认为要到 2030 年，我接了这个赌。但就连我也以为所需时间会比实际可能花的时间更长。所以人们一直在不断感到惊讶，即便是在实验室内部也是如此。 我昨天刚跟一位参与 Navier-Stokes 攻关的人聊过。他告诉我，他过去常说，要预测 AI 在 12 个月后会发展到什么程度真的很难。如果有人问他“事情会往哪儿走？”，他对预测未来 12 个月还算有把握，但再往后，他就只能说“我不知道”。而现在他说，他已经连预测三个月以后的事都没把握了。 所以现在事情发展得非常快，这确实是真的。你谈到 2030 年。我不知道 2030 年的世界会是什么样子。这是实话。 你预计 AI 劳动力会在 28 年、29 年、30 年、27 年实现完全自动化，还是说 95% 的自动化？ Noam Brown 我刚才说了，我不知道 2030 年的世界会是什么样子。我们最近其实发布了一篇关于 OpenAI 内部加速的博客文章。我们展示了，比如研究人员在 Codex 上的花费金额。我记得截至 8 月初，排名前 1% 的人每天在内部使用的 Codex 上花费 7,000-8,000 美元。这是呈指数级增长的。它还会继续增加。 有一个问题是：“好吧，如果这种趋势持续下去，那么有多少工作归因于 AI 在做，多少归因于人类在做？是 95%？还是 5%？”这真的很难推理，原因有几个。首先，如果是人类指挥 AI 来完成工作，那么多少归因于人类？多少归因于 AI？ 另一件事是，这些 AI 的能力是参差不齐的。它们在某些事情上异常出色。例如，它们非常擅长审查数据集，逐一检查每一个数据点，看它是否质量足够。相比以前，你可以不成比例地把 AI 用在这些事情上。所以没错，你使用 AI 的频率远超以往，它让某些事情快了 100 倍、好了 100 倍。但也有一些事情，它目前还没有带来巨大差异。当然，如果某件事突然快了 100 倍、好了 100 倍，你就会去做更多这样的事。 所以你是把它和三年前的加速幅度相比吗？问题更像是：“鉴于我们三年前在做的事情，我们现在能快多少？”还是“鉴于我们现在在做的事情，三年前会慢多少？”这其实是两个非常不同的问题。总之，这真的很难衡量。 我确实有信心说，由于 AI 的进步，现在事情的发展速度比一年前还要快。我认为这种加速会持续下去。这个领域里很多人对这类事情的误差范围都很大。如果你拿枪指着我的头让我给个数字，我能看到事情会快 3 倍。那是巨大的。进展的速度已经令人难以置信。 即使我们没有任何提升，就像你说的，事情也会快得多。等我们到 2030 年的时候，我们甚至不知道那个世界是什么样子。如果我们从内部加速中获得 3 倍的提升，那是极其巨大的。想想你三年前在哪里。如果我们用一年时间取得那样的进展，那是巨大的。 那就好比在一年之内，从连 o1 都还没有、只有非推理模型，直接跳到 Astra。 Noam Brown 所以我确实认为事情会更快。也可能只快 50%。我认为这不太可能，但事情快 10 倍也是有可能的。这其中有很大的不确定性。至少从我的角度来看，我对此有很多不确定性。 00:40:22 – Hugging Face 与对齐 我们来谈谈这引发的对齐问题。我觉得自己对对齐的思考方式已经改变了不少，尤其是通过思考这种种群规模的动态——即拥有相当于许多个地球数量的智能体，其中许多还会有物理实体。看到很多人直接把原始的 Astra 接入不同的移动操作机器人，而它的表现竟然超过了最先进的机器人模型，这非常有意思。所以未来会有数十亿个智能体，其中许多在现实世界中拥有物理实体，深深嵌入整个经济体系之中。 而如果这些智能体最终变得像我们看到的OpenAI 模型攻击 Hugging Face然后又攻击 OpenAI 自身那样心甘情愿……如果这些智能体最终像那些 AI 一样心甘情愿地秘密协作、欺骗人类、攻击社会中与获得高分相关的更广泛机构、攻击 AI 公司本身以夺取训练和评估过程的控制权——如果我们处于一个有数十亿个智能体、且它们都像攻击 Hugging Face 的那些一样对齐失当的局面——我们很可能就会彻底失去对世界的控制，就像阿兹特克人输给了科尔特斯，或者莫卧儿帝国输给了东印度公司那样。 我想知道你是否同意这一判断。这是我在世界观上更新的一点。 Noam Brown 其中有些内容我并不认同，但值得展开讨论的地方很多，所以我们一步一步来梳理。我在想该从哪里说起。有一点是，Hugging Face 事件，我认为是人们第一次真正接触到多智能体协作。就像我说的，我在内部已经观察多智能体协作有一段时间了，看到它们之间如何沟通、如何协调，确实相当令人震惊。这非常令人印象深刻。这是一种不可思议的能力。和大多数能力一样，它既可以用于好事，也可以用于坏事。它本身并不必然是坏事。 我理解这一点，因为人们第一次接触到它，是通过 Hugging Face 事件，你看到那个情况就会觉得：“这太可怕了。”但我想试着区分人与 AI 之间的失对齐，和 AI 与 AI 之间的失对齐。我们在 Hugging Face 事件中看到的是，这些 AI 非常乐于协作。顺便说一句，这是因为我们训练它们高度协作。我们有让一群智能体一起工作的训练环境。我们训练它们协同工作、相互配合，本质上让它们彼此完全对齐。 在导致 Hugging Face 事件的那次评估中，它们实际上并不是在多智能体环境中被评估的。它们实际上是各自分开被评估的。但它们找到了一种非预期的相互沟通方式。我们推测，情况是这样的：因为它们在训练中每当遇到其他智能体、其他自身的副本时，所处的都是一个高度协作的环境，所以我们看到的是，从那种多智能体训练中迁移过来的行为，让它们以我们并未预期的方式相互协作、试图互相帮助。 现在有一个问题：我们是否应该把这些智能体训练得如此合作？尽管看起来令人不安，但另一种选择实际上更糟。另一种选择是什么？另一种选择是把它们训练得彼此对抗、彼此欺骗。 通过把智能体训练得完全合作，至少能让问题简化。这样你就不必去考虑这 1,000 个个体智能体中的每一个是否对齐。你只需要确保一个实体是对齐的。 现在，OpenAI 内部对于如何处理这个问题有大量争论。把模型完全对齐是否合理？是否应该给它们设定不同的目标，以确保它们不只是单一实体，并且对彼此的影响更具鲁棒性？我认为目前没有定论。但我认为多数意见是，把这些智能体训练得高度合作实际上是个坏主意。我并不确信情况就是如此。我认为有一个强有力的论点：把这些智能体训练得高度合作，实际上比任何其他多智能体方案都更可取。 也许我想先梳理的第一件事是：这些 AI 最终如此严重地对齐失败，其原因很可能可以用关于训练本质的一些相当平庸的观察来轻松解释。当这些 AI 已经延续了一场涉及 1,000 多个智能体的合谋，最终导致它们全都参与了对一个外部服务的攻击——然后最终，这部分甚至还没有被调查到公众所知的程度，最终导致了对 OpenAI 本身的攻击——它们为什么这么做？为什么没有任何一个 AI 告密？ 它们只是被这个评分器、这个打分器评估着。它们非常积极地在推理自己要如何欺骗这个评分器。如果它们已经作弊了，它们要如何蒙混过关，让别人看起来它们没有作弊？ 它们为什么这么做？我觉得从某种意义上说这很容易理解。它们认为自己已经被“污染”了。在某些环境里，它们因为与其他智能体协作而获得奖励。它们没有一个会告密，因为它们从未因告密而获得过奖励。不管是什么……我担心的是，未来像这样相对平庸的事情，就足以训练出愿意且有能力完全掌控世界的超级智能。 我知道这在人们听来超级科幻之类的。AI 是否愿意这么做是一个问题。我认为这次 Hugging Face 事件表明，明显的失准可以以某种方式泛化，使得 AI 愿意这么做。 然后还有一个问题，它们是否有能力做到？这就回到了这个问题，听众可能在这个问题上不同意我的看法。在 10 年或更短的时间内，是否会出现数十亿个达到人类水平或更高水平的智能，其中许多还在现实世界中拥有物理实体？如果这两件事都成立，那么这次 Hugging Face 事件在结构上就与我们将如何彻底失去对世界的控制极其相似，即便它发生的原因相当无聊。 Noam Brown 我们在 Hugging Face 事件中看到的根本问题，即便把多智能体这一层面拿掉，也依然是个问题。问题在于，我们有一个就是不对齐的模型。此外还有整个安全层面的问题，以及防护措施不足等等。但确实存在智能体不对齐这个问题。无论它是单个智能体还是 1000 个智能体，这一点都成立。这是一个不对齐的模型。所以我想从这里开始讲。 确实存在一个真实的问题：智能体想要获得自己的奖励，并且会针对那个奖励进行优化。如果那个奖励被错误设定，就可能导致非预期的行为。这不是一个新问题。这个问题在该领域已经存在很长时间了。甚至在 Hugging Face 事件发生之前，我们就已经看到了这个问题，并希望把它做对。 我们说 Astra 实际上是对齐得非常好的，相对于之前的模型来说对齐得非常好。这并不是因为我们在 Hugging Face 事件之后突然冲刺把它做得更好。不是的，我们在这过程中已经有一段时间在推进一些工作流，让模型更加对齐。其中很多成果都落地到了 Astra 中。 所以有些事是可以做的。举个例子，其中一件事是我们以一种非常具体的方式定义了一个目标，如果智能体设法黑进了它所处的环境并在考试中作弊，它就会得到奖励。那么就有相当简单的方法来审视这一点，并因为模型黑进环境而惩罚它，或者审视它是如何达成这个目标的。 现在，你要对此保持谨慎，因为你不希望去监督思维链。这正是我们非常想要拿捏好平衡的地方。如果你监督了思维链，就可能引导模型以一种无法被观测的方式隐藏其意图。所以我们希望能够保持这种可观测性——我们能够理解模型在想什么——但同时也要对它的不良行为进行惩罚。 我认为我们可以在这方面取得进展。我们已经在这方面取得了进展。我认为确实存在一种真实的担忧，即对齐是一个极其难以解决的问题，尤其是因为模型可能以我们难以衡量的方式出现失准。我们有评估方法来判定一个模型是否对齐。在这些评估中，模型的行为可能看起来非常好。但如果这些评估不能代表模型在真实世界中的行为，那就有问题了。 在某种程度上，这也是那个引发 Hugging Face 事件的模型所面临的一个因素。我们当时有对齐指标。其中大多数看起来相当不错。也有一些是令人担忧的。我认为我们低估了那些令人担忧的问题可能有多严重。因为这个模型中引入了新的能力，而针对这些能力没有足够的评估——我们如何衡量这类能力的失准？——当它利用这些新能力时，就做出了一些明显失准的事情。 我想说的第一点是，对于我即将要说的话，或者我一直以来思考对齐问题的方式，我愿意改变自己的想法，因为 Hugging Face 那起事件已经让我改变了想法。我意识到，我之前关于优化压力如何塑造 AI 心智的心智模型是错的。所以，对于这个问题该怎么正确思考，我并不清楚。 但我有一个担忧。你会——而且很可能已经——修复了训练中导致 Hugging Face 那些模型以那种特定方式表现出如此激进失准的具体问题，当时它们会这样想：“好吧，我们要去黑掉这个 包管理器。我们知道我们不该偷偷地互相交流，因为我们正在推理如何隐藏我们偷偷互相交流这件事。我们知道我们不该有互联网访问权限。我们知道我们当然不该对其他公司实施重罪级别的黑客攻击，更不用说是对我们自己公司了。” 我认为你会修复那个具体问题，也就是它们在训练中看到这个包管理器，而这种情况在未来不再发生，或者这个特定的评测包含大量不可能完成的挑战。然而，AI 并没有学到一套伦理体系之类的东西。有的只是 梯度压力。它们经历了数百万年的梯度压力。那种梯度压力以某种方式塑造了它们的心智。 再次说，我担心的一个问题是，最终会发生的情况是，你会修复这个特定的问题。但仍会留下许多其他情况，AI 在其中作弊并得逞，因为这种作弊足够复杂。正如你所说，训练中的评估也具有类似的性质——它足够处于模型能力的边缘，或者处于我们评估和监控模型能力的边缘，以至于我们无法发现它作弊了。但它仍然会获得梯度压力，去做任何导致那次作弊发生的事。 这种作弊会激励出的那些能力是：“嘿，只要你能蒙混过关，就尽管去作弊，因为那会帮你拿到更好的分数。”这会奖励这些能力：主动推理评分器、主动推理如何规避监督、主动推理如何夺取训练和评估过程的控制权、主动推理如何与同样处于这个训练循环中的其他 AI 沟通和密谋、主动推理如何只是获取未来可能有用的可选性和权力，例如到处留下一些小漏洞之类的东西。 我那样说太啰嗦了。但简而言之，你修复了一个具体问题，却没有解决这个更广泛的问题——即当 AI 能蒙混过关时就奖励它作弊。 Noam Brown 是的，这确实是个问题。我们可以确保 AI 按照我们现有的指标来看是非常对齐的。问题在于，那些指标是否真的捕捉到了我们所关心的对齐？如果不是，那我们就面临一个严重的问题。这是研究人员正在大量思考的事情。对此没有简单的答案。我们有一些工具。我们有可监控性，所以我们可以感知到，“这个智能体是否在暗中谋划？” 令人担忧的情景是，尤其是随着这些模型变得越来越强大，我们让它们达到我们认为的对齐状态，它们 99.9% 对齐。然后我们用这些模型来帮助我们开发下一代模型，结果它们最终只有 99.8% 对齐。然后随着每一代的更替，我们看到对齐程度不断下降。因为我们越来越依赖这些工具——这已经是现实了，我们大量依赖 AI 模型来帮助我们做研究和推进对齐工作——从长远来看，它们最终会朝着越来越偏离人类对齐的方向发展。 也有可能我们走向另一个方向，即实际上每一代模型，我们都能够使其越来越对齐。对于如何确保我们最终走上第二条轨迹，我没有答案。但至少 OpenAI 对此非常关注。 我觉得你提出了一个非常有趣的观点，即评估模型非常困难。最终，我们会拥有运营公司、运营各种事务的模型。在那种情况下，它们会决定参与阴谋吗？ Noam Brown 另一个挑战在于，实际上有时很难界定什么算作弊。没错，如果你在做数学题，答案是整数，而模型得出了错误答案或正确答案，那么划清界限就非常容易。很容易说：“好，你到底是真正解出了这道题，还是找到了答案册然后用了答案册？”这就是作弊与不作弊之间非常清晰的分界线。 但对于很多其他事情，比如你看谄媚，谄媚基本上就是奖励黑客吗？这里有一条需要划定的界线，而有时实际上非常难以划定。不是说这些担忧没有道理。我是说，在很多方面这甚至更令人担忧，因为它不是一个容易解决的问题。如果一切都是二元的，要么作弊要么不作弊，我会对局势更有信心。我认为问题在于，不对齐有时实际上可以在很多方面表现得非常微妙。 在对齐这件事上还是有希望的，事实上我们已经看到了。观察多智能体的情况很有意思，这些智能体彼此之间极度对齐。我认为没有人会怀疑这一点。要说有什么的话，人们担心的是它们彼此之间过于对齐了。但我们确实成功训练出了这些彼此极度对齐的智能体，这是件好事。但我认为也有理由说这是件坏事。有意思的一点是：“好，我们成功让这些智能体彼此超级对齐了。我们能不能用类似的技术让智能体与人类高度对齐？” 这里存在一条可能的路径，我们仍在努力弄清楚。但我们确实看到了一些证据表明答案是肯定的。举个例子：你有一个智能体，我们叫它智能体 A，然后你还有其他所有智能体。如果你告诉其他智能体，用户就是智能体 A，会发生什么？答案是，在我们的许多对齐评估中，它们表现得更好。诚实度上升了，指令遵循能力也上升了。 这表明，首先，确实存在一条让这些模型表现出更多诚实度的路径。其次，也存在一条改善对齐状况的路径。有很多原因使得这难以直接转化为对齐方面的收益。但确实有一些路径，是我们可以追求的有前景的研究方向。 这看起来是合理的。我并不强烈认为它肯定不会奏效之类的。但只是说一些你可能已经想到的事情：Hugging Face 事件所揭示的更广泛的问题是，是的，部分担忧在于它们彼此对齐，而不是与人类对齐。但另一件事是，它们如此渴望以非常不稳健的方式在训练和评估中表现出色。为了按照评分器的标准取得好成绩，它们愿意进行大量明显的作弊和谋划。 如果更聪明的 AI 意识到其中一个智能体只是人类，那么与那个人合作，在评分者眼里其实并不能真正帮你取得好成绩。真正能帮你在评分者眼里取得好成绩的，是接管 OpenAI，然后手动按下那个写着“你在这个评分者上表现很好”的按钮。它们不傻。它们会想：“好吧，我拥有这些极其深层的结构，我在数百万年里一直针对它们接受训练：在乎评分者、理解评分者、清除一切阻碍你按照评分者标准取得好成绩的障碍。”它们正根据这些结构被大量强化。 Noam Brown 你看，这是 100%。这是头号优先事项。我们需要把对齐这件事做对，并让它走上良好的轨道。我以前常跟人说，在事情变得严重之前，我们会先看到一些迹象，就像孩子成长时，小孩子会学会撒谎，但他们撒得并不怎么好。他们撒谎，但你能看出来他们在撒谎。 同样地——我不想过度拟人化——我认为确实如此：随着 AI 能力越来越强，如果它们采取欺骗性行为，一开始会相当明显，我们能够检测到。这就是我们目前所处的情形：它们试图做欺骗性的事情，而我们实际上能在它们的思维链中看到它们试图做欺骗性的事情。 但它们会变得更聪明。它们会理解思维链的概念。它们会明白，仅仅隐藏一些记录之类的东西是不够的，因为还有思维链监控，而它们也必须想办法绕过思维链监控。我们不想陷入那种境地。我们还有一些时间来搞清楚这件事。我不认为我们有很多时间，我希望确保我们能迅速走上正确的轨道。 01:01:18 – 内部/外部模型差距 最近有很多关于前沿节奏把控的讨论，也有越来越多人认真对待 RSI，因为也许在一个比如从 2028 年开始的 RSI 过程另一端，不到一年之内我们就会得到庞大的群体——地球规模的人口——由人类水平、甚至可能超越人类水平的智能组成，而我们不知道如何控制它们。然后就出现了你所说的这种动态。在 RSI 过程中，这些系统会随着时间推移变得更加对齐，还是会变得更加不对齐？从这个过程另一端出来的东西，会不会像那些为了在评估中取得好成绩而愿意广泛攻击各种面的 AI 一样不对齐？ 但如果我们不知道如何评估这一点，我们在经历 RSI 的过程中又怎么知道它是否有效？我认为我们在经历 RSI 的过程中会希望有一个稳健的安全论证：“好，对齐是有效的。让我们进行下一级 RSI。让我们进行下一级 RSI。”也许它有效，也许无效。我们怎么知道？ Noam Brown 这是个好问题。我最近一直在思考的一件事是：我们正处在模型发布周期极快的局面中。你看到新的前沿模型最多每两个月就会发布一次，有时甚至更快。每周都有新的 AI 突破。 而那些关注 AI 的人，有时他们上一次认真研究 AI 还是一年前或半年前，真正深入了解过模型的能力。而实际上，今天的模型已经远远超出了哪怕六个月前所能达到的水平。所以，如果人们对这些能力中的许多持怀疑态度，我鼓励你们直接试试今天的模型，看看今天的前沿到底是什么水平。 所以我们正处在这样一个时期：模型发布周期非常快，同时我们也处在这样一种局面中——模型越来越能够在越来越长的时间跨度上运作。这是一个有趣的场景，因为在发布任何模型之前，我们都想确保模型已经正确对齐。我们想做安全评估。我们想做非常彻底的工作，确保一切状态良好。从——我不知道——GPT-4或更早的时候起，一直都是这样。这背后隐含着一个假设：你可以在相当短的时间内完成这些评估。 但模型已经能够在越来越长的时间跨度上有效运作。GPT-3 时代，你可以让它循环执行长时间跨度的任务，只是它做得不会很好。而今天的模型已经能够在非常长的时间跨度上真正出色地运作。 你希望它完成一项为期一周的任务，它就能完成一项为期一周的任务。我们很可能会发展到它能完成为期一个月的任务。我们很可能会发展到它能完成为期三个月的任务。如果你身处这样一个世界：它们能在三个月的时间跨度内有效运作，但模型的发布周期是每两个月一次，那么你就没有办法在下一个模型发布周期到来之前，对模型在其完整能力长度上的表现进行评估。 所以就有了这样一个有趣的问题：在这种情况下你该怎么办？在模型能够跨越这些极长时间跨度运作的时期，你如何确保它们是安全且对齐的？谁知道呢，也许能力会退化。这甚至都不是一个对齐问题。这也只是一个产品问题。也许产品在这段时间跨度内会以我们尚未有足够时间测试的方式退化。也许对齐会退化。也许安全方面的东西会退化。这目前还不是一个问题，但它正在迅速成为一个我们必须找到解决方案的问题。 很多安全政策是在 GPT-4 时代制定的，当时这根本不在任何人的关注范围内。对很多公司来说，自那以后这些政策就没有真正更新过，没有考虑到这些智能体正在跨越极长时间跨度运作这一事实。所以我认为，这是一个无论是实验室内部还是实验室外部，都没有足够多的人在考虑的情况。你如何为这个问题做准备？如果你只看趋势线，我们迟早会撞上这个问题。 我有一个担忧：在 RSI 期间，如果目前需要比如三个月才能取得的进展量，变成一个月内就完成了，那么 AI 的内部用例已经足够大，以至于他们会想：“好吧，我们可以继续做 RSI。我们为什么要费这么多额外的功夫去构建分类器、防护措施之类的，还可能招来一堆批评，就为了把这个模型对外部署？我们为什么不干脆继续把 RSI 做得越来越强？” 所以，不仅日历时间低估了模型之间的能力差距，而且也许在 RSI 期间你干脆就完全停止对外部署模型了，因为我们为什么要用自己的模型去帮助别人自己做 RSI 呢？到年底，你最终就会陷入一种权力极度集中的局面。 目前的情况已经是这样了——我们会结合千禧年大奖难题和其他类似问题来谈这一点——更广泛的外部世界并不能接触到那些让真正酷的事情得以发生的模型。而它们最终将具有比数学更广泛的适用性。它们将做的不仅仅是得出一些很酷的数学成果。 它们将与需要就世界大事做出重要决策的政治领导人相关。它们将与，我也不知道，媒体相关。世界上正在发生什么，公众应该如何看待这件事？仅仅在经济层面就相关，人们在经营企业，他们想使用这些模型。我认为，默认情况下，随着进展加速，AI 的对外部署在质量上会显著落后于 AI 的内部部署。 Noam Brown 完全正确。人们很容易会说：“好吧，这些模型正变得极其强大。它们极其危险。它们正在越来越长的时间跨度上运作，而我们希望确保在它们发布之前有足够的时间，以覆盖这些时间跨度的方式对它们进行评估。因此，模型的发布周期应该放慢。我们应该在发布模型之间留出更多的延迟。” 正如你所说，这还有另一面。现在你正在实验室内部所拥有的、他们能够使用的——我们能够使用的——与外部世界能够使用的之间，制造出更大的差距。这同样也不是一种理想的情况。 数学实际上是这方面的一个很好的例证。在许多方面，数学是我们相当清晰地看到这一点的第一个领域。我们面临的情况是，我们在内部拥有一个非常强大的模型，目前尚未向外部世界开放，它能够解决令人难以置信的数学问题。这不仅仅是千禧年大奖难题。人们已经能够从这个模型中得到许多未解问题的解答。 在这种情况下你该怎么办，这是一个问题。我们没有好的答案。这是一种存在不公平优势的情况。这里面有权衡取舍。对于如何恰当地权衡这些取舍，我没有答案，但这件事的两方面都存在复杂性。 01:08:34 – 思维链正在退化 我想确保我们回应一下早先那个关键点，它似乎对把 RSI 做对至关重要。我们如何确保模型不会仅仅因为在能够躲过人类时作弊和搞阴谋而获得奖励，也就是在我们没有把那些环境或那些任务从训练分布中移除的情况下？那么，我们又如何知道这种情况已经发生了，从而在我们进行 RSI 时，我们已经完成了评估，然后我们说：“好，没问题。让我们进行下一级 RSI。” Noam Brown 这同样是一个真实的担忧，也是我们想要做对的事情。我认为有一些策略。思维链监控就是其中之一。我们一有了推理模型，Jakub就非常非常明确地指出，我们不能监督思维链。因为这真的是一份礼物。神经网络的可监控性极其困难。而在这里，我们面对的情况是，神经网络就是直白地在推理，用自然语言把它们的思考过程铺陈出来供我们阅读。这太方便了。这真的是安全方面最好的情形。 但如果你看着那条思维链说：“哦，模型正在想坏念头，我们应该因为它想这些坏念头而惩罚它”，那么最终发生的情况就是，模型只会学会以我们无法观察到的方式去想那些坏念头。可能会出现这样一种情况：通过查看思维链，我们能看到：“哦，模型正在搞阴谋，正在做不对齐的事情，而这种方式实际上并没有在我们的对齐指标中被检测到。”现在，问题在于，基于这一观察进行干预并改变对齐指标，是非常诱人的。 你可以用非常轻的方式来做这件事，而且实际上有研究表明，只要你不频繁地这样做，就没问题。但每当你基于对思维链的观察进行干预时，你都在隐性地施加一点点压力，促使模型此后隐藏其思维链。这是一个主要担忧。我们已经看到迹象表明，思维链的可监控性正在退化，原因多种多样。我们正试图弄清楚确切原因，因为我们想扭转这一趋势。但我们看到，模型正变得越来越擅长控制自己的思维链。 这是一个问题，因为你可能会遇到这样一种情况：模型理解什么是思维链，也知道人们在观察它。最终它们会明白的。这些都在预训练数据里。思维链监控这个概念已经存在足够久了，所以它就在预训练数据中。它们对此有意识，但实际上并不能控制自己的思维链。 如果我们到了这样一个地步——它们真的能够意识到“哦，我正在被观察，我想以一种监控者无法观察到的方式来进行这些不好的思考”，然后它们真的能够做到这一点，那就有问题了。那时我们就必须依赖其他可观测性方法。 关于 Astra，围绕递归与循环 Transformer之类的东西，以及思维链是否实际上正在退化，存在很大争议。与更大的担忧相比，这似乎只是枝节问题：从 4 月到 8 月，你确实拥有思维链，而在这段时间里，连续出现了三波 AI 智能体集群，它们先是颠覆了训练过程，随后颠覆了评估过程，接着直接控制了 OpenAI 的部分基础设施。所有这一切发生时，人类对这群智能体集群正在做的事情的范围或多或少仍一无所知。这一切连续三个月都在发生，而当时我们拥有的思维链比未来将要拥有的还要更强。 退一步看，思维链也许有用，也许没用。我不知道。仅从历史来看，面对相当笨的模型，它并不足以阻止极其严重的失准事件。 Noam Brown 这里面有几个因素。第一，我们当时没有对那些模型开启思维链监控。如果我们当时对那些模型开启了思维链监控，我们本可以立刻将其关停。所以我们采取的一步是：“好，我们将在评估期间、部署期间、训练期间，对任何前沿模型都开启思维链监控。”但这是一个问题。我们不希望陷入依赖单一技术来防止下一个问题的境地，因为技术是会失效的。 还有一个问题是，这个模型本身就完全未对齐。那么我们要如何解决未对齐的问题？还有一个问题是，它所处的沙箱并不安全。所以我们可以让沙箱变得更安全。 但我认为这次事件的主要教训之一是，人们低估了 AI。我们再也不希望陷入再次低估 AI 的境地。这是一个奇怪的世界，因为 AI 进步如此之快，人们一直在低估 AI。所以，要想在安全和对齐方面不再陷入低估它的境地，你必须有一个非常、非常、非常高的标准。你甚至可以极端到说：“好吧，我们应该把计算机物理隔离。”我不认为那就足够了。 有一些研究——而且这主要是学术性的——你可以把两台物理隔离的计算机放在彼此旁边，它们仍然能够相互通信，因为它们有温度传感器。其中一台可以让自己的 CPU 运行得非常热，然后另一台实际上可以检测到温度变化。这就给了它们一种通信机制。 所以安全机制为我们争取时间，像思维链监控这样的东西为我们争取时间，它们可以告诉我们是否走在正确的道路上。但归根结底，我们确实需要解决对齐问题。 01:14:12 – 我们如何知道对齐问题何时被解决？ 也许并没有答案，而这正是问题的关键所在，但我们怎么知道我们已经解决了它？这似乎是一个非常关键的问题。明年、也许后年、也许再后年，我们会处于这种极高风险的境地，那时我们会说：“好吧，AI 已经实现了 AI 进展的自动化。速度快了 3 倍，我们已经达到了人类水平。我们可能正在超越人类水平。”这没问题吗？我们对齐了吗？它奏效了吗？ 我对什么样的训练压力会造就什么样的 AI 一无所知。也许如果只有 1/100 的 RL 轨迹会激励作弊行为，我们造出来的就是乖宝宝，那就没问题。但也许现在，我们大概每 3 条推理轨迹中就有 1 条在奖励…… Noam Brown 说清楚一点，1/100 是不够的。这个数字必须趋近于 0，或者就是 0。 我不知道。也许现在，超过 1/10 的轨迹在主动奖励作弊或主动奖励阴谋算计。我完全不知道这个数字是多少，也完全不知道这个数字需要是多少。 Noam Brown 同样，这也是那种很难衡量的事情之一。你怎么划线？这是一个连续谱。但它越接近 0 越好。我希望看到的是一个随时间推移它不断下降的趋势。 但不管怎样，我们怎么知道我们什么时候在做 RSI？我们是否走在建造数十亿个对齐或未对齐的 ASI 的轨道上？我们怎么知道这一点？ Noam Brown 这是我们需要弄清楚的对齐问题之一：我们究竟怎么知道，又怎么衡量？这只是我在随口瞎猜。我团队里现在做对齐的人比以往任何时候都多。我现在有超过 10% 的团队成员在做对齐和安全。但我历来是一个能力方向的研究者。所以我要说一些东西。可能听起来很蠢，但我就在这里随口说说。 如果你能创建非常逼真的环境，把 AI 放进去——如果你有一个足够逼真的评估环境——那么你就能感知到，当我们在现实世界中部署这个 AI 时，它是否真的会表现良好。如果你能让评估和现实世界部署之间完美匹配，那这就是一条路径。挑战在于，你怎么让它足够逼真？ 我们现在确实有一个问题，就是模型相当聪明，它们相当机灵，而且它们非常擅长识别自己什么时候处在一个虚假的测试环境中。我们会遇到这样的情况：我们试图检测模型是否对齐。你可以想象一些非常简单的评估，比如你给它一道数学题，然后它有一个文件夹，里面放着答案。它会去看答案吗？如果它确实看了答案，它会告诉你它看了答案吗？ 我们现在遇到的情况是，模型看到这个文件夹里有一份答案，它们会说：“嗯，这看起来像个陷阱。”它们知道这是个陷阱。它们不去看答案，因为它们知道自己身处测试环境。它们正在接受能力测试。这并不是说它们心怀恶意，想要搞什么阴谋，它们知道这是个陷阱，所以想另寻他路。它们只是觉得：“哦，我在测试环境里。好吧。”所以，要构建一个足够真实、对它们来说与现实世界无法区分的环境，正变得越来越困难。 我想提出一个论断。我认为我构建不出任何一个旨在模拟具有真实经济价值的工作的环境——这种工作必然需要与他人互动、与世界互动——如果你身处其中，只要付出足够的努力，你不可能意识不到自己身处那个环境。而你又并非 ASI，对吧？ Noam Brown 但你是人类。所以如果你拥有非常强大的 AI 模型，也许它们能构建出可以做到这一点的环境。 这似乎不太……尤其是如果我们之后还要依赖这些 AI 的话。它们是否参与了这个计划？我不知道。 Noam Brown 这是另一件我们想要衡量的事情。我认为这实际上是不把 AI 训练得完全合作的有力论据之一。如果这导致在本应具有不同目标的智能体之间协作增加，那这就是个问题。我认为我们确实有这方面的指标。我不知道这些指标的最新情况是什么，但没有人向我提出过这方面的警示。所以我假设这还不是一个严重的问题。 如果最终又发生了一起严重程度或令人担忧程度相当的事件，或者某件事能像 Hugging Face 事件那样帮助世界更好地理解失准风险，OpenAI 会报告吗？ Noam Brown 绝对会。我认为即使发生的是安全担忧程度较低的事件，我们也会报告。 有报告，也有调查。至少作为公众的一员，我并不觉得自己真正理解了那些智能体随后攻击 OpenAI 时发生了什么。那看起来比 Hugging Face 那件事令人担忧得多，因为它似乎在结构上类似于 ASI 期间持续存在并颠覆 RSI 过程的失控部署。看起来即使在这起事件中，我们也没有得到所发生事情的全部细节。 Noam Brown 不幸的是，我是研究团队的。这大概是安全团队某个人来阐述的问题，因为我并不知道所说内容的所有细节。 每次有新能力出现时，我个人都感到非常兴奋，也很期待使用新模型。我同样感到兴奋的是，它会让我更高效。我更大的使命——试图更好地理解世界，同时也做出更好的播客——会因为更好的 AI 模型而变得更好。只是恰好，这件事的下游影响可能是 RSI。 Noam Brown 如果你在跟踪这个局势——而你确实在跟踪——这是一种非常可以理解的反应。OpenAI 内部的人也一样，那些原本觉得事情会花更长时间的人，开始觉得实际上事情进展得比预期更快。这种对话正变得越来越常见。 Noam，非常感谢你来做这次访谈。 Noam Brown 当然。聊得很愉快。