ARC Prize用基线测试框架测试o1-mini，公布其在ARC-AGI-Pub公开评测得分12.8%、半私密验证9.5%
热点事件历史事件
ARC Prize用基线测试框架测试o1-mini，公布其在ARC-AGI-Pub公开评测得分12.8%、半私密验证9.5%
1 篇报道1 个报道来源2024-09-13更新
先了解这件事
报道摘要
ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%，与 Claude 3.5 Sonnet 的 21% 相当，但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式，从记忆答案转向记忆推理，但仍限于预训练数据分布内，测试时算力增加虽能对数级提升准确率，实现 AGI 仍需新思路。
摘自 ARC Prize：官方博客
最新进展2024年9月13日 00:00
ARC Prize 实测 OpenAI o1 在 ARC-AGI-Pub 的成绩报道时间线
沿着报道，了解事件的不同侧面。
2024年9月13日
- ARC Prize：官方博客精选ARC Prize 实测 OpenAI o1 在 ARC-AGI-Pub 的成绩
ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%，与 Claude 3.5 Sonnet 的 21% 相当，但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式，从记忆答案转向记忆推理，但仍限于预训练数据分布内，测试时算力增加虽能对数级提升准确率，实现 AGI 仍需新思路。