跳到正文
热点事件持续更新

ARC Prize公布Gemini 4 Argon的ARC-AGI-3成绩

5 篇报道2 个报道来源1 小时前更新

先了解这件事

AI 综述

ARC Prize 公布 Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 的评测成绩:使用 provider adapter harness 得分 97.5%、成本 4.8K 美元,使用标准 harness 得分 49.8%、成本 5.8K 美元。ARC Prize 称,97.5% 仅次于 GPT-6 Astra 的 99.9%,Google DeepMind 由此成为第二家在 ARC-AGI-3 上得分超过 95% 的前沿 AI 实验室。ARC Prize 的 François Chollet 转发该结果,称 Argon 在 ARC-AGI-3 上表现与 Astra 相近,Google 回到前沿。 标准 harness 下,低推理得分 49.8%(完成 42/55 局),中推理 46.3%(完成 46/55 局),高推理仅完成 19/55 局,未公布分数。ARC Prize 称,Argon 在 25 个公开游戏中的操作次数比人类基线少 62%,在 3 个游戏上追平或打破速通纪录,另在 6 个游戏上差距在 10% 以内。 同一评测中,Argon 在 ARC-AGI-2 得分 91.3%、每任务 0.32 美元,在 ARC-AGI-1 得分 98.5%、每任务 0.16 美元。

AI 根据报道生成 · 44 分钟前更新

事件进展

3 个进展

  1. 10月16日 00:22 · 1 篇报道
    ARC Prize公布Gemini 4 Argon榜单成绩
    ARC Prize:Gemini 4 Argon 登 ARC Prize 排行榜
  2. 10月16日 00:22 · 1 篇报道
    ARC Prize公布Argon在ARC-AGI-3的得分
    ARC Prize:Google Argon 在 ARC-AGI-3 得分 97.5%
  3. 10月16日 00:22 · 3 篇报道
    ARC Prize公布Argon模型在标准harness下的部分测试成绩
    ARC Prize:Gemini 4 Argon 在 ARC-AGI (Verified) 评测中公布:ARC-AGI-3 得分 97.5%

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. Francois Chollet
    François Chollet 评价 Gemini 4 Argon 在 ARC-AGI-3 的表现与 Astra 相近

    François Chollet 转发 @arcprize 的评测,称 Gemini 4 Argon 在 ARC-AGI-3 上表现与 Astra 相近,Google 回到前沿。引用数据显示 Gemini 4 Argon 在 ARC-AGI-3 得分 97.5%(provider adapter harness,花费 $4.8K)、标准 harness 下 49.8%($5.8K),ARC-AGI-2 得分 91.3%,ARC-AGI-1 得分 98.5%,Google DeepMind 是第二个在 ARC-AGI-3 上得分超过 95% 的前沿 AI 实验室。

  2. ARC Prize
    Gemini 4 Argon 登 ARC Prize 排行榜

    @Google - 排行榜:https://arcprize.org/leaderboard - 复现公开结果:https://github.com/arcprize/arc-agi-benchmarking - 测试政策:https://arcprize.org/policy - Gemini 4 Argon 完整结果:https://arcprize.org/results/google-gemini-4-argon

  3. ARC Prize
    Google Argon 在 ARC-AGI-3 得分 97.5%

    @Google Argon 在 ARC-AGI-3 上 97.5% 的得分仅次于 GPT-6 Astra 的 99.9%。 与 Astra 一样,Argon 在 25 个 ARC-AGI-3 公开游戏中的操作次数比人类基线少 62%。它在 3 个游戏上追平或打破了速通纪录,并在另外 6 个游戏上差距在 10% 以内。

  4. ARC Prize
    ARC Prize 公布 Gemini 4 Argon 的 ARC-AGI-3 标准 harness 测试结果

    ARC Prize 发布 Gemini 4 Argon 在 ARC-AGI-3 标准 harness 下的测试结果,低推理得分 49.8%(完成 42/55 局),中推理 46.3%(完成 46/55 局),高推理仅完成 19/55 局故未公布分数。

  5. ARC Prize精选
    Gemini 4 Argon 在 ARC-AGI (Verified) 评测中公布:ARC-AGI-3 得分 97.5%

    ARC Prize 公布 Gemini 4 Argon 在 ARC-AGI (Verified) 的评测成绩。ARC-AGI-3 上,provider adapter harness 得分 97.5%、成本 $4.8K,标准 harness 得分 49.8%、成本 $5.8K;ARC-AGI-2 得分 91.3%、$0.32/task;ARC-AGI-1 得分 98.5%、$0.16/task。Google DeepMind 是第二家在 ARC-AGI-3 上得分超过 95% 的前沿 AI 实验室。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。