跳到正文

CritPt v2 难题子集(Artificial Analysis 复跑)

Artificial Analysis / 科研 · 修订版研究级物理题里最难的 40 道,可以写代码演算。

官方评测
在 AIHOT 中参与排名
所属领域科研
上游数据时间待核实
最近成功同步10/28 21:56

它测什么,怎么测

CritPt v2 的 70 道题里固定的 40 道难题,离线 Python 沙箱,统一 Stirrup 工具流程,五次平均的正确率;由作者的判分服务器判分。

AIHOT 怎么用它

计分:研究级物理;与 CritPt 共用一类评测。固定 10 个对照型号至少测到 6 个,才参与计算。

评测成绩

同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。

原榜名次原榜型号原始成绩代表配置
3gpt-6-astraOpenAI70.5%Max 推理
5gpt-6-1-solOpenAI68.5%Max 推理
9gpt-6-1-terraOpenAI64.5%Max 推理
11claude-opus-5-5Anthropic61.0%Max 推理 · 含来源回退
20claude-sonnet-5-5Anthropic56.0%Max 推理 · 含来源回退
20gpt-5-6-solOpenAI56.0%Max 推理
24muse-wonder-fullMeta53.0%Max 推理
25gemini-4-argonGoogle52.5%High 推理
27claude-fable-5-1Anthropic51.0%Max 推理 · 含来源回退
29muse-wonderMeta48.0%Max 推理
32muse-spark-1-3Meta46.0%Max 推理
33kimi-k3-1-proMoonshot AI45.0%来源默认配置
36gemini-3-8-flashGoogle43.5%High 推理
38gpt-6-lunaOpenAI41.5%Max 推理
39claude-haiku-5-5Anthropic41.0%Max 推理
41kimi-k3Moonshot AI39.5%Max 推理
42ling-3-1-flash-1019InclusionAI37.5%来源默认配置
45mimo-v2-6-proXiaomi34.0%来源默认配置
46glm-5-3Z.ai33.5%Max 推理
48step-5StepFun32.5%来源默认配置
50grok-4-7xAI32.0%xHigh 推理
52minimax-m3-1-flashMiniMax31.0%来源默认配置
55mimo-v2-6-flashXiaomi29.5%来源默认配置
56qwen3-8-maxAlibaba28.5%来源默认配置
58muse-spark-openMeta27.5%xHigh 推理
59minimax-m3MiniMax26.5%来源默认配置
59reflection-beamReflection26.5%来源默认配置
62mistral-large-4Mistral AI24.0%来源默认配置
62deepseek-v4-1-flash-1017DeepSeek24.0%Max 推理
64deepseek-v4-proDeepSeek23.5%Max 推理
评测局限与数据署名

40 道难题按 v2 发布时 7 个前沿模型的表现固定挑出,题量少;不混入 70 题全集的成绩。 缺测留空;回退成绩计入并标注,受影响题目过半不计。

数据许可:Artificial Analysis 公开页面数据;展示须显著署名并链接来源,遵守其 Terms of Use

成绩由 Artificial Analysis 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。