ARC Prize公布Haiku 5.5在ARC-AGI跑分
先了解这件事
ARC Prize 公布了 Anthropic Claude Haiku 5.5 在 ARC-AGI 系列基准上的成绩：ARC-AGI-1 得分 89.0%、每任务成本 $0.051；ARC-AGI-2 得分 61.3%、每任务 $0.085；ARC-AGI-3 在 provider adapter harness 下得分 2.8%、成本 $437，标准 harness 下为 0.5%、$388。官方称其为 Anthropic 小模型梯队带来了有竞争力的表现。 ARC Prize 称，ARC-AGI-2 榜单省略了 Haiku 5.5 的 max reasoning 结果，因为该设置只完成 120 个任务中的 74 个，许多未完成的尝试在耗尽输出预算前无法返回可解析的答案。 相关结果已收录进 ARC Prize 排行榜，ARC Prize 同时公开了复现基准测试的代码仓库与测试政策。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- ARC PrizeARC Prize 排行榜收录 Claude Haiku 5.5
@AnthropicAI - 排行榜：https://arcprize.org/leaderboard - 复现公开结果：https://github.com/arcprize/arc-agi-benchmarking - 测试政策：https://arcprize.org/policy - Haiku 5.5 完整结果：https://arcprize.org/results/anthropic-claude-haiku-5-5
- ARC PrizeARC Prize 说明 Claude Haiku 5.5 在 ARC-AGI-2 榜单省略 max reasoning 的原因
ARC Prize 解释在 ARC-AGI-2 榜单中省略 Claude Haiku 5.5 的 max reasoning 结果，因为该设置只完成 120 个任务中的 74 个，且许多未完成的尝试在耗尽输出预算前无法返回可解析的答案。完整结果见 https://arcprize.org/results/anthropic-claude-haiku-5-5。
- ARC PrizeAnthropic Haiku 5.5 在 ARC-AGI (Verified) 上的评测成绩公布
ARC Prize 公布 Anthropic 的 Claude Haiku 5.5 在 ARC-AGI (Verified) 上的成绩。ARC-AGI-3 得分 2.8%、成本 $437（provider adapter harness），标准 harness 下为 0.5%、$388；ARC-AGI-2 得分 61.3%、$0.085/task；ARC-AGI-1 得分 89.0%、$0.051/task。官方评价称其为 Anthropic 小模型梯队带来了有竞争力的表现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。