致知|大模型智力长期追踪榜单 · 逻辑月榜
llm2014 / 科研 · 个人长期维护的难题榜:用中文出的逻辑、数学、空间和编程题,看模型能不能想清楚。
在 AIHOT 中参与排名
所属领域科研
上游数据时间10/31 15:06
最近成功同步10/31 23:28
它测什么,怎么测
作者用同一套对话方式,经各家官方接口给每个模型跑三次,题目不公开,按得分点评分,取三次的中位数;取最新一个月的榜,月中改题时所有型号重跑。标为估算(~Estimated)的行不是实跑成绩,不计;同一型号按最高推理档位选代表配置,选择不看分数。
AIHOT 怎么用它
计分:科研领域的逻辑一类,与 LiveBench Reasoning 合起来算一票。上一轮综合榜前 10 家厂商各自名次最高、公开能用(有按量付费 API 或公开权重)的型号,至少 60% 测过才参与计算(发布不满一个月的没测不算缺)。
评测成绩
同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 1 | GPT-6 Astra (xhigh)OpenAI | 86.5% | xHigh 推理 |
| 4 | Gemini 4 Argon (high)Google | 69.1% | High 推理 |
| 5 | GPT-6.1 Sol (xhigh)OpenAI | 67.8% | xHigh 推理 |
| 6 | Opus 5.5 (xhigh w/ refuse)Anthropic | 66.6% | xHigh 推理 |
| 7 | Kimi-K3.1-Pro (max)Moonshot AI | 61.6% | Max 推理 |
| 8 | Muse Wonder 1.0 (xhigh)Meta | 59.6% | xHigh 推理 |
| 9 | Fable 5.1 (xhigh w/ refuse)Anthropic | 58.7% | xHigh 推理 |
| 10 | Sonnet 5.5 (xhigh)Anthropic | 57.4% | xHigh 推理 |
| 11 | DeepSeek V4.1 Flash 1017 (max)DeepSeek | 56.0% | Max 推理 |
| 12 | Grok 4.7 (xhigh)xAI | 52.5% | xHigh 推理 |
| 13 | MiniMax-M3.1-Flash (max)MiniMax | 51.8% | Max 推理 |
| 14 | Gemini 3.8 Flash (high)Google | 51.3% | High 推理 |
| 15 | Seed-2.1-pro 0915 (high)ByteDance | 49.7% | High 推理 |
| 16 | GLM-5.3 (max)Z.ai | 47.7% | Max 推理 |
| 17 | DeepSeek V4 Pro 0813 (max)DeepSeek | 47.4% | Max 推理 |
| 18 | Qwen3.8-Max (xhigh)Alibaba | 45.3% | xHigh 推理 |
| 19 | GLM-5.3-Flash (max)Z.ai | 44.6% | Max 推理 |
| 20 | Step 5 PreviewStepFun | 41.3% | 来源默认配置 |
| 21 | Qwen3.8-Flash (xhigh)Alibaba | 37.6% | xHigh 推理 |
| 22 | Haiku 5.5 (xhigh)Anthropic | 32.3% | xHigh 推理 |
| 23 | Spark X2.6synlan | 32.1% | 来源默认配置 |
| 24 | Qwen3.8-27B (xhigh)Alibaba | 31.2% | xHigh 推理 |
| 25 | Hy3 (high)Tencent | 28.1% | High 推理 |
| 26 | Ling-3.1-flash (xhigh)InclusionAI | 25.1% | xHigh 推理 |
| 27 | GPT-6 Luna (xhigh)OpenAI | 23.9% | xHigh 推理 |
| 28 | Seed-2.0-lite 0428 (high)ByteDance | 16.8% | High 推理 |
| 29 | Gemini 3.5 Flash Lite (high)Google | 11.9% | High 推理 |
| 30 | GPT-5.5 InstantOpenAI | 9.4% | 非推理配置 |
| 31 | Mistral Large 4 (high)Mistral AI | 6.4% | High 推理 |
| 32 | openPangu-2.0-Pro— | 6.0% | 来源默认配置 |
评测局限与数据署名
一个人维护,题目只有几十道,部分靠人工评分,思考时间过长会扣分;月中改题后整月重跑,分数会跟着变。缺测留空。
数据许可:官方公开结果;未声明数据许可
成绩由 llm2014 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。