模型榜:新增四项评测,当天跟上 Artificial Analysis 新版
Artificial Analysis 今天换上新版评测,AIHOT 当天就把新成绩算进模型榜,晚上又接入了 Mercor 的工程评测,法律评测也换上新版。综合榜和四个分类榜的所有分数,都按新的评测组合重新计算;新加的成绩同样是评测机构给每个模型用同一套流程亲自测出来的。
- 编程:新增两项。FrontierCode 2.0 让模型在真实开源仓库里改代码,看改动能不能达到项目维护者愿意合并的水平;APEX-SWE 让模型把多个服务接起来部署上线,或者翻日志找出线上故障的根因。
- 科研:新增 CritPt v2 难题子集,研究级物理题里最难的 40 道,允许写代码演算。
- 专业办公:Harvey 法律评测换成 1.1 新版,考律所实务里的备忘录、修订稿这类文书。Vals 和 Artificial Analysis 两家各测一遍,成绩合在一起算,不重复计分。
- 知识问答:AA-Omniscience 换成 v1.1 新题集。新旧两版的分数不能直接比,旧版成绩不再混进来。
- 看图的题不算:新版里含图片题的 HLE-Diamond 不计入,模型榜仍然不给视觉能力打分。