CritPt v2 难题子集(Artificial Analysis 复跑)
Artificial Analysis / 科研 · 修订版研究级物理题里最难的 40 道,可以写代码演算。
在 AIHOT 中参与排名
所属领域科研
上游数据时间待核实
最近成功同步10/28 21:56
它测什么,怎么测
CritPt v2 的 70 道题里固定的 40 道难题,离线 Python 沙箱,统一 Stirrup 工具流程,五次平均的正确率;由作者的判分服务器判分。
AIHOT 怎么用它
计分:研究级物理;与 CritPt 共用一类评测。固定 10 个对照型号至少测到 6 个,才参与计算。
评测成绩
同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 3 | gpt-6-astraOpenAI | 70.5% | Max 推理 |
| 5 | gpt-6-1-solOpenAI | 68.5% | Max 推理 |
| 9 | gpt-6-1-terraOpenAI | 64.5% | Max 推理 |
| 11 | claude-opus-5-5Anthropic | 61.0% | Max 推理 · 含来源回退 |
| 20 | claude-sonnet-5-5Anthropic | 56.0% | Max 推理 · 含来源回退 |
| 20 | gpt-5-6-solOpenAI | 56.0% | Max 推理 |
| 24 | muse-wonder-fullMeta | 53.0% | Max 推理 |
| 25 | gemini-4-argonGoogle | 52.5% | High 推理 |
| 27 | claude-fable-5-1Anthropic | 51.0% | Max 推理 · 含来源回退 |
| 29 | muse-wonderMeta | 48.0% | Max 推理 |
| 32 | muse-spark-1-3Meta | 46.0% | Max 推理 |
| 33 | kimi-k3-1-proMoonshot AI | 45.0% | 来源默认配置 |
| 36 | gemini-3-8-flashGoogle | 43.5% | High 推理 |
| 38 | gpt-6-lunaOpenAI | 41.5% | Max 推理 |
| 39 | claude-haiku-5-5Anthropic | 41.0% | Max 推理 |
| 41 | kimi-k3Moonshot AI | 39.5% | Max 推理 |
| 42 | ling-3-1-flash-1019InclusionAI | 37.5% | 来源默认配置 |
| 45 | mimo-v2-6-proXiaomi | 34.0% | 来源默认配置 |
| 46 | glm-5-3Z.ai | 33.5% | Max 推理 |
| 48 | step-5StepFun | 32.5% | 来源默认配置 |
| 50 | grok-4-7xAI | 32.0% | xHigh 推理 |
| 52 | minimax-m3-1-flashMiniMax | 31.0% | 来源默认配置 |
| 55 | mimo-v2-6-flashXiaomi | 29.5% | 来源默认配置 |
| 56 | qwen3-8-maxAlibaba | 28.5% | 来源默认配置 |
| 58 | muse-spark-openMeta | 27.5% | xHigh 推理 |
| 59 | minimax-m3MiniMax | 26.5% | 来源默认配置 |
| 59 | reflection-beamReflection | 26.5% | 来源默认配置 |
| 62 | mistral-large-4Mistral AI | 24.0% | 来源默认配置 |
| 62 | deepseek-v4-1-flash-1017DeepSeek | 24.0% | Max 推理 |
| 64 | deepseek-v4-proDeepSeek | 23.5% | Max 推理 |
评测局限与数据署名
40 道难题按 v2 发布时 7 个前沿模型的表现固定挑出,题量少;不混入 70 题全集的成绩。 缺测留空;回退成绩计入并标注,受影响题目过半不计。
数据许可:Artificial Analysis 公开页面数据;展示须显著署名并链接来源,遵守其 Terms of Use
成绩由 Artificial Analysis 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。