← 评测来源
Epoch AI / 知识

SimpleQA Verified

短问题的事实准确性

官方评测 ↗
在 AIHOT 中参与排名
证据预算4%
上游数据时间09/03 02:04
最近成功同步09/10 06:31

它测什么,怎么测

只取 Epoch 自行复跑的 mean_score,采用固定推理档位;不读取 ECI 或 Best score 聚合列。

如何使用这份证据

正式计分;同题家族共用固定预算。

评测成绩

按固定规则,每个公开模型采用一套代表配置。匿名测试型号不展示,保留原榜名次,每项最多 30 个。

原榜名次原榜型号原始成绩代表配置
1gpt-6-astra_maxOpenAI75.6%Max 推理
2gemini-3.1-pro-preview_highGoogle73.5%High 推理
3claude-fable-5-1_maxAnthropic70.8%Max 推理
4claude-fable-5_xhighAnthropic70.7%xHigh 推理
5gemini-3.8-flash_highGoogle69.7%High 推理
5gpt-5.6-sol_maxOpenAI69.7%Max 推理
7gemini-3.7-flash_highGoogle69.2%High 推理
8gemini-3-flash-preview_highGoogle66.8%High 推理
9gemini-3.5-flash_highGoogle66.2%High 推理
9gemini-3.6-flash_highGoogle66.2%High 推理
11gpt-5.5_xhighOpenAI63.0%xHigh 推理
12muse-spark-1.2_xhighMeta60.3%xHigh 推理
13claude-opus-5_maxAnthropic59.9%Max 推理
14muse-spark-1.1Meta57.8%来源默认配置
15qwen3.7-maxAlibaba55.8%来源默认配置
16claude-opus-4-8_maxAnthropic53.0%Max 推理
17deepseek-v4-pro-0813_maxDeepSeek52.9%Max 推理
18qwen3.6-max-previewAlibaba52.0%来源默认配置
19claude-opus-4-7_xhighAnthropic51.7%xHigh 推理
20kimi-k3_maxMoonshot AI50.6%Max 推理
21gpt-5-2025-08-07_highOpenAI50.1%High 推理
22o3-2025-04-16_highOpenAI49.4%High 推理
24grok-4.6_xhighxAI48.9%xHigh 推理
25qwen3-max-2025-09-23Alibaba48.7%来源默认配置
26grok-4.5_highxAI48.3%High 推理
27gpt-5.1-2025-11-13_highOpenAI48.0%High 推理
28qwen3.8-max-0902_xhighAlibaba47.3%xHigh 推理
29claude-opus-4-6_maxAnthropic47.0%Max 推理
30deepseek-v4-pro_maxDeepSeek47.0%Max 推理
31gpt-5.4-pro-2026-03-05_xhighOpenAI46.3%xHigh 推理
评测局限与数据署名

正式计分;同题家族共用固定预算。

数据许可:CC BY 4.0 · Epoch AI 自行评测数据

成绩由 Epoch AI 发布,原始分数与 AIHOT 共识分使用不同尺度,不能直接相加。