ARC Prize· @arcprize · X·· 6 天前AI 评分64
AI 导读
ARC Prize 公布阿里千问 Qwen3.8-27B 在 ARC-AGI(Verified)的评测结果:ARC-AGI v2 得分 42.4%,每任务成本 $0.45;ARC-AGI v1 得分 87.5%,每任务成本 $0.22。Qwen 的聊天模板为 low 和 xhigh 推理档提供引导,但没有 medium 档,这可能是 medium 档消耗更多 token 却得分低于 low 的原因。
正文
Qwen3.8-27B from @Alibaba_Qwen on ARC-AGI (Verified):
- ARC-AGI v2: 42.4%, $0.45/task
- ARC-AGI v1: 87.5%, $0.22/task
Qwen's chat template adds guidance for low and xhigh reasoning, but not medium, which may explain why medium used more tokens yet scored below low.
来源:ARC Prize · x.com