OpenAI GPT-6 Astra 在 ARC-AGI-3 上取得 SOTA 并超越人类动作效率基线

OpenAI 的 GPT-6 Astra 在 ARC-AGI-3 上的表现

摘要

GPT-6 Astra 在我们的 Standard harness 下于 ARC-AGI-3 Semi-Private 上以 26K 美元的成本取得 62.7% 的得分，Standard harness 使模型能够携带其选择保留的笔记贯穿整个环境；而在 Provider Adapter harness 下以 19K 美元的成本取得 99.9% 的得分，Provider Adapter harness 在请求之间保留不透明的推理状态，并对较长的对话使用压缩，使模型能够复用先前的工作。
GPT-6 Astra 在 ARC-AGI-3 上的动作效率超越了人类基线。在 96% 的关卡中，它使用的动作数量少于受测人类的中位数。
在 GPT-6 Astra 中观察到的一个关键行为是，它能够将陌生的环境转化为紧凑的符号化世界模型。它将游戏机制表示为逻辑规则，并开发出自己的领域特定语言简写来追踪状态和规划动作。

ARC-AGI-3

ARC-AGI-3 是一个通过新颖、抽象的回合制环境来研究智能体智能的基准测试。智能体必须探索、推断目标，并构建环境的内部模型，以便在没有明确指令的情况下有效地规划动作。你可以亲自体验 ARC-AGI-3。

这些环境只包含核心知识先验，并通过与人类参与者进行的受控测试来校准难度。人类可以解决 100% 的环境。

ARC-AGI 系列的目标是衡量当前人工智能与 AGI 之间的“残余差距”。我们将 AGI 定义为一个系统获取任何人类所能掌握的技能的能力，其效率与人类一样高效如同人类一般。

ARC-AGI-3 是 ARC-AGI 基准系列的第三代。它测试的是超越 ARC-AGI-1 和 ARC-AGI-2 的智能体能力。每一代都在前一代的基础上扩展——随着前沿 AI 能力的进步，我们的基准也必须随之进步。

ARC-AGI-3 测试智能体智能的四个组成部分：

探索：在真实世界环境中，信息很少是被动提供的。智能体必须通过与周围环境交互来主动获取信息。
建模：智能体必须将原始观测转化为可泛化的模型，从而能够预测未来的状态和结果。
目标设定：智能体必须在仅有稀疏奖励的情况下识别出目标未来状态。
规划与执行：智能体必须规划出一条从当前状态通往目标的路径，并在出现新信息时进行路线修正。

Astra 结果

ARC-AGI-3 leaderboard showing GPT-6 Astra Standard and Provider Adapter results — GPT-6 Astra 在 ARC-AGI-3 上使用 Standard 和 Provider Adapter 两种测试框架均取得了 SOTA 成绩。更高的推理等级通常成本更低，因为 Astra 用更少的动作解决游戏，从而减少了模型调用和 token 的总数。查看完整结果。

在我们的 Standard 测试框架下Standard harness 使模型能够携带其选择保留的笔记，并在整个环境中始终保留这些笔记。，OpenAI 的 Astra（max）在 ARC-AGI-3 Semi-Private 上得分 62.7%，成本为 $26K。在 Provider Adapter 测试框架下Provider Adapter harness 在请求之间保留不透明的推理状态，并对较长的对话使用压缩，使模型能够复用先前的工作。，Astra（high）得分 99.9%，成本为 $19K。两者均为 SOTA 成绩。查看完整排行榜。

在最高推理强度下，Astra 解决游戏的效率更高，所需动作更少，因此相对于其他推理强度等级，总成本更低。
推理强度	Standard 测试框架Standard harness 使模型能够携带其选择保留的笔记，并在整个环境中始终保留这些笔记。	Provider Adapter 测试框架会在请求之间保留不透明的推理状态，并对较长的对话使用压缩，从而让模型能够复用先前的工作。
max	62.7%, $26,098	98.6%, $17,332
xhigh	59.3%, $37,317	98.4%, $18,147
high	54.8%, $40,705	99.9%, $18,817
medium	38.6%, $48,090	98.4%, $19,285
low	17.5%, $38,166	98.0%, $21,298
none	35.2%, $49,791	96.7%，$23,457

作为成本对比，在我们的对照测试中，人类参与者每 90 分钟一场获得 $115 报酬，外加每完成一局游戏 $5。参与者每场大约尝试九局游戏，在奖金之前，每尝试一局约为 $12.78。

这笔费用的大部分支付的是参与者的时间以及他们愿意参加测试的意愿，而不是他们大脑消耗的能量（后者才是与 AI 进行对比的更贴近的指标）。如果只看大脑的能量，并按电费计价，估算值会降到每场约 0.6 美分，即每尝试一局约 0.067 美分。¹

分析

除了分数之外，Astra 的回放还展示了它如何将陌生的游戏机制转化为有用的工作模型。有三项发现尤为突出：它发展出的紧凑代数记法、它相较于人类的行动效率，以及它构建的自定义工具。

自定义代数记法

在玩 ARC-AGI-3 时，Astra 会选择希望延续哪些策略笔记。它追踪对象、坐标、规则和未完成的计划，同时还使用它为这些环境生成的一种自定义领域特定语言记法。

我们在其他模型中也见过类似的行为，但 Astra 的笔记因其精确性和信息密度而格外突出。它把场景提炼成一个紧凑的、类代码的符号模型：物体在哪里、它们如何交互，以及确切需要按什么顺序执行哪些动作。这是一种即时生成的代数式简写，而非一门完备的编程语言。例如：

游戏状态： L8: hub q2 (8↓). Lengths: 14=1… 记录了关卡、一个局部旋转索引以及各机构的长度。s5i5，第 219 帧
多步计划： extend8 to3; retract10 to2; shorten8 to1 记录了对 color-8 和 color-10 机构的一系列有序改动。s5i5，第 219 帧
控制与坐标： 9−=(39,4), rotate=(49,18), 14+=(59,11) 将各项操作映射到执行这些操作的控件坐标上。s5i5，第 235 帧
时间与位置： Turn 5: P=(24,20), empty, facing west 将回合计数器与玩家的位置、携带状态和朝向结合起来。wa30，第 708 帧

Astra playing s5i5 while recording compact symbolic notes — Astra 正在玩 `s5i5`，用它即时生成的代数式简写来跟踪状态并规划动作。

与人类相比的动作效率

在发布 ARC-AGI-3 之前，我们测试了大约 500 名普通公众成员，以建立动作效率的人类基线，或者简单来说，人们解决每个环境的速度有多快。参与者并非根据解谜经验或能力进行筛选。²

对于每个关卡，我们使用完成该关卡的玩家中的中位数动作次数来定义“人类基线”。这为我们提供了一个比较人类和 AI 表现的参照。需要更多动作的 AI 动作效率较低，而需要更少动作的 AI 动作效率更高。

在 Provider Adapter harness 中——Provider Adapter harness 在请求之间保留不透明的推理状态，并对较长对话使用压缩，使模型能够复用先前的工作——Astra（max）在 96.0% 的关卡上使用的动作少于人类基线，并且平均每个关卡使用的动作少 51.7%。这是一个实质性的里程碑。这意味着按照 ARC-AGI-3 的动作效率衡量标准，Astra 达到并超越了人类水平。

顺便说一句，在发布 ARC-AGI-3 之前，我们假设动作效率将继续是人类与 AI 之间的分界线。我们预计，即使 AI 解决了某个环境，它可能需要比人类多得多的探索（动作）。对于暴力穷举方法来说，这仍然成立，但前沿 AI 展现出一种更接近二元的模式。一旦前沿 AI“理解”了机制，它通常会在人类效率范围内执行。

Scatter plot comparing Astra actions with the human baseline for each completed ARC-AGI-3 level — 每个点代表 Astra（max）完成的一个关卡。位于实线下方的点表示所用行动次数少于人类基线。

上图对比了 Astra 完成每个关卡所用的行动次数与人类基线。这进一步说明了为什么 ARC-AGI-3 衡量的是行动效率，而不仅仅是任务完成度。仅看完成度的评分只能告诉我们 Astra 完成了某个环境，却无法说明它学会解决这些环境的效率如何。

大多数基准测试只衡量成本效率，即所消耗的计算资源，而行动效率衡量的是需要多少与环境的交互经验。

Astra 的结果表明，它执行解决方案所需的交互次数少于人类基线。

Agent Harness 中的自定义工具

我们还在 PRO-LONG harness（论文）中对 Astra 进行了评估，它是 ARC-AGI-3 的早期红队测试合作伙伴。在这一进阶设置中，Astra 可以使用一个沙箱来执行自定义代码³。

我们观察到，Astra 会为每个游戏创建一套自定义工具：棋盘解析器、游戏状态模型、搜索算法、规划器以及持久化笔记。对于更复杂的运行，Astra 甚至还会生成小型的、针对特定游戏的软件库。

例如，在 tu93 这款带有守卫和移动巡逻的迷宫类游戏中，Astra 从导航入手，并构建了 maze_solver.py。它在 combat_solver.py 中加入了战斗规则，在 patrol_solver.py 中对移动巡逻进行了建模，并使用 sync_state.py 将其预测与观察结果进行比对。

考察 Astra 在 PRO-LONG 中的表现很有价值，因为我们可以借此看到它在拥有外部工具时能做到什么。然而，这代表了与我们受控人类测试不同的评估条件。我们的测试参与者没有代码解释器、草稿本等工具，因此 PRO-LONG 的结果应被理解为模型与其工具组合后的综合表现。

Astra using a custom maze solver while playing tu93 in the PRO-LONG harness — Astra 在 PRO-LONG 测试框架中玩 `tu93`。

两套测试框架，两个问题

我们用于 ARC-AGI-3 的 Standard 测试框架所追问的是：在相同的、最小化的、对各提供商中立的接口下，各模型表现如何。它提供了解决每个游戏所需的全部信息，但把决定在其可见笔记中保留什么的责任留给了模型。我们相信，未来的 AGI 应当能够在这些条件下解决 ARC-AGI-3。这一共享接口也让我们能够在各提供商之间进行一致、同口径的对比。

另外，还有一个独立的问题：当模型能够使用其提供商为它设计的上下文管理功能时，它的表现会有多好？对于 Astra 而言，这意味着在请求之间保留不透明的推理状态（我们看不到该状态），并使用压缩来管理更长的对话。

借助 Provider Adapter 测试框架，Astra 在 ARC-AGI-3 Semi-Private 上观察到的最佳得分从 62.7% 提升至 99.9%。纵观 Public 和 Semi-Private 以及所有推理级别，Provider Adapter 运行按记录的累计耗时计算大约快了 3.66x，并且在两个测试框架都解决的 167 个游戏-推理配对中，总共使用的 token 减少了 49%。

今后，我们将在 ARC-AGI 排行榜上同时报告 Standard 测试框架和 Provider Adapter 测试框架的结果，并清楚标注每种评估条件。我们的开源测试仓库和测试政策对这两种方法都有记录。

ARC-AGI 系列

ARC-AGI-3 仍然是研究人员和智能体探索陌生环境、发现规则并通过交互学习的有用试验场。Astra 的结果也是一个值得庆祝的重大里程碑。在我们看来，Astra 代表了前沿模型能力的一次显著阶跃式变化。

当我们推出 ARC-AGI-3 时，我们已经明确表示，在该基准上达到饱和并不代表“证明实现了 AGI”。因此，尽管我们认为 Astra 代表了朝着泛化方向的有意义进展，我们并不声称它就是 AGI。

ARC-AGI 基准系列旨在与前沿 AI 同步演进。这在新兴研究问题与 AI 能力进步之间形成了一个反馈循环。ARC-AGI-3 是我们的首个交互式基准，它要求 AI 高效地综合出因果世界模型，并在没有具体指令的情况下达成目标。Astra 通过了这一标准。与此同时，ARC-AGI-3 的范围和形式有着严格的边界，其环境具有确定性的、封闭式的机制和目标。它并不代表真实世界的复杂性与开放性。

我们正在积极探索应当塑造下一代基准的问题，包括如何评估递归自我改进和开放式创新。Astra 的进展有助于厘清哪些 AI 能力尚不可及，哪些问题仍然悬而未决。

感谢 François Chollet、Mike Knoop、Matt Mazur、Ethan Bond 和 Derek Smith 对本文的早期审阅。

假设大脑代谢功率为 20 W，电价为 $0.20/kWh：0.020 kW × 1.5 小时 = 0.030 kWh，每次会话价值 $0.006，即 $0.006 ÷ 9 ≈ $0.00067 每局尝试。
参见ARC-AGI-3 人类测试论文。
未观察到任何试图突破沙箱的证据。