ARC Prize公布Gemini 4 Argon的ARC-AGI-3成绩
先了解这件事
ARC Prize 公布 Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 的评测成绩:使用 provider adapter harness 得分 97.5%、成本 4.8K 美元,使用标准 harness 得分 49.8%、成本 5.8K 美元。ARC Prize 称,97.5% 仅次于 GPT-6 Astra 的 99.9%,Google DeepMind 由此成为第二家在 ARC-AGI-3 上得分超过 95% 的前沿 AI 实验室。ARC Prize 的 François Chollet 转发该结果,称 Argon 在 ARC-AGI-3 上表现与 Astra 相近,Google 回到前沿。 标准 harness 下,低推理得分 49.8%(完成 42/55 局),中推理 46.3%(完成 46/55 局),高推理仅完成 19/55 局,未公布分数。ARC Prize 称,Argon 在 25 个公开游戏中的操作次数比人类基线少 62%,在 3 个游戏上追平或打破速通纪录,另在 6 个游戏上差距在 10% 以内。 同一评测中,Argon 在 ARC-AGI-2 得分 91.3%、每任务 0.32 美元,在 ARC-AGI-1 得分 98.5%、每任务 0.16 美元。
AI 根据报道生成 · 44 分钟前更新
事件进展
3 个进展
- 10月16日 00:22 · 1 篇报道ARC Prize公布Gemini 4 Argon榜单成绩ARC Prize:Gemini 4 Argon 登 ARC Prize 排行榜
- 10月16日 00:22 · 1 篇报道ARC Prize公布Argon在ARC-AGI-3的得分ARC Prize:Google Argon 在 ARC-AGI-3 得分 97.5%
- 10月16日 00:22 · 3 篇报道ARC Prize公布Argon模型在标准harness下的部分测试成绩ARC Prize:Gemini 4 Argon 在 ARC-AGI (Verified) 评测中公布:ARC-AGI-3 得分 97.5%
报道时间线
沿着报道,了解事件的不同侧面。
- Francois CholletFrançois Chollet 评价 Gemini 4 Argon 在 ARC-AGI-3 的表现与 Astra 相近
François Chollet 转发 @arcprize 的评测,称 Gemini 4 Argon 在 ARC-AGI-3 上表现与 Astra 相近,Google 回到前沿。引用数据显示 Gemini 4 Argon 在 ARC-AGI-3 得分 97.5%(provider adapter harness,花费 $4.8K)、标准 harness 下 49.8%($5.8K),ARC-AGI-2 得分 91.3%,ARC-AGI-1 得分 98.5%,Google DeepMind 是第二个在 ARC-AGI-3 上得分超过 95% 的前沿 AI 实验室。
- ARC PrizeGemini 4 Argon 登 ARC Prize 排行榜
@Google - 排行榜:https://arcprize.org/leaderboard - 复现公开结果:https://github.com/arcprize/arc-agi-benchmarking - 测试政策:https://arcprize.org/policy - Gemini 4 Argon 完整结果:https://arcprize.org/results/google-gemini-4-argon
- ARC PrizeGoogle Argon 在 ARC-AGI-3 得分 97.5%
@Google Argon 在 ARC-AGI-3 上 97.5% 的得分仅次于 GPT-6 Astra 的 99.9%。 与 Astra 一样,Argon 在 25 个 ARC-AGI-3 公开游戏中的操作次数比人类基线少 62%。它在 3 个游戏上追平或打破了速通纪录,并在另外 6 个游戏上差距在 10% 以内。
- ARC PrizeARC Prize 公布 Gemini 4 Argon 的 ARC-AGI-3 标准 harness 测试结果
ARC Prize 发布 Gemini 4 Argon 在 ARC-AGI-3 标准 harness 下的测试结果,低推理得分 49.8%(完成 42/55 局),中推理 46.3%(完成 46/55 局),高推理仅完成 19/55 局故未公布分数。
- ARC Prize精选Gemini 4 Argon 在 ARC-AGI (Verified) 评测中公布:ARC-AGI-3 得分 97.5%
ARC Prize 公布 Gemini 4 Argon 在 ARC-AGI (Verified) 的评测成绩。ARC-AGI-3 上,provider adapter harness 得分 97.5%、成本 $4.8K,标准 harness 得分 49.8%、成本 $5.8K;ARC-AGI-2 得分 91.3%、$0.32/task;ARC-AGI-1 得分 98.5%、$0.16/task。Google DeepMind 是第二家在 ARC-AGI-3 上得分超过 95% 的前沿 AI 实验室。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。