跳到正文

致知|大模型智力长期追踪榜单 · 逻辑月榜

llm2014 / 科研 · 个人长期维护的难题榜:用中文出的逻辑、数学、空间和编程题,看模型能不能想清楚。

官方评测
在 AIHOT 中参与排名
所属领域科研
上游数据时间10/31 15:06
最近成功同步10/31 23:28

它测什么,怎么测

作者用同一套对话方式,经各家官方接口给每个模型跑三次,题目不公开,按得分点评分,取三次的中位数;取最新一个月的榜,月中改题时所有型号重跑。标为估算(~Estimated)的行不是实跑成绩,不计;同一型号按最高推理档位选代表配置,选择不看分数。

AIHOT 怎么用它

计分:科研领域的逻辑一类,与 LiveBench Reasoning 合起来算一票。上一轮综合榜前 10 家厂商各自名次最高、公开能用(有按量付费 API 或公开权重)的型号,至少 60% 测过才参与计算(发布不满一个月的没测不算缺)。

评测成绩

同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。

原榜名次原榜型号原始成绩代表配置
1GPT-6 Astra (xhigh)OpenAI86.5%xHigh 推理
4Gemini 4 Argon (high)Google69.1%High 推理
5GPT-6.1 Sol (xhigh)OpenAI67.8%xHigh 推理
6Opus 5.5 (xhigh w/ refuse)Anthropic66.6%xHigh 推理
7Kimi-K3.1-Pro (max)Moonshot AI61.6%Max 推理
8Muse Wonder 1.0 (xhigh)Meta59.6%xHigh 推理
9Fable 5.1 (xhigh w/ refuse)Anthropic58.7%xHigh 推理
10Sonnet 5.5 (xhigh)Anthropic57.4%xHigh 推理
11DeepSeek V4.1 Flash 1017 (max)DeepSeek56.0%Max 推理
12Grok 4.7 (xhigh)xAI52.5%xHigh 推理
13MiniMax-M3.1-Flash (max)MiniMax51.8%Max 推理
14Gemini 3.8 Flash (high)Google51.3%High 推理
15Seed-2.1-pro 0915 (high)ByteDance49.7%High 推理
16GLM-5.3 (max)Z.ai47.7%Max 推理
17DeepSeek V4 Pro 0813 (max)DeepSeek47.4%Max 推理
18Qwen3.8-Max (xhigh)Alibaba45.3%xHigh 推理
19GLM-5.3-Flash (max)Z.ai44.6%Max 推理
20Step 5 PreviewStepFun41.3%来源默认配置
21Qwen3.8-Flash (xhigh)Alibaba37.6%xHigh 推理
22Haiku 5.5 (xhigh)Anthropic32.3%xHigh 推理
23Spark X2.6synlan32.1%来源默认配置
24Qwen3.8-27B (xhigh)Alibaba31.2%xHigh 推理
25Hy3 (high)Tencent28.1%High 推理
26Ling-3.1-flash (xhigh)InclusionAI25.1%xHigh 推理
27GPT-6 Luna (xhigh)OpenAI23.9%xHigh 推理
28Seed-2.0-lite 0428 (high)ByteDance16.8%High 推理
29Gemini 3.5 Flash Lite (high)Google11.9%High 推理
30GPT-5.5 InstantOpenAI9.4%非推理配置
31Mistral Large 4 (high)Mistral AI6.4%High 推理
32openPangu-2.0-Pro—6.0%来源默认配置
评测局限与数据署名

一个人维护,题目只有几十道,部分靠人工评分,思考时间过长会扣分;月中改题后整月重跑,分数会跟着变。缺测留空。

数据许可:官方公开结果;未声明数据许可

成绩由 llm2014 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。