Extended NYT Connections
Lech Mazur / 知识问答 · 把一组词按隐藏的类别分好,里面还混进了故意误导的干扰词。
在 AIHOT 中参与排名
所属领域知识问答
上游数据时间10/24 05:00
最近成功同步10/31 23:28
它测什么,怎么测
Lech Mazur 用同一套提示让每个模型做全部谜题,每题一次,按完全分对的组数计分(分对 g 组得 (g/4)²),不用模型裁判。只取做完全部题目的主榜;同一型号按最高推理档位选代表配置,选择不看分数。
AIHOT 怎么用它
计分:知识问答领域的语言理解一类,与 LiveBench Language 合算一票。上一轮综合榜前 10 家厂商各自名次最高、公开能用(有按量付费 API 或公开权重)的型号,至少 60% 测过才参与计算(发布不满一个月的没测不算缺)。
评测成绩
同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 1 | Gemini 4 Argon (high reasoning)Google | 98.6% | High 推理 |
| 2 | GPT-6 Astra (max reasoning)OpenAI | 98.4% | Max 推理 |
| 4 | GPT-6.1 Sol (max reasoning)OpenAI | 97.8% | Max 推理 |
| 6 | Gemini 3.1 Pro PreviewGoogle | 97.4% | 来源默认配置 |
| 7 | Gemini 3.8 Flash (high reasoning)Google | 97.4% | High 推理 |
| 8 | GPT-5.5 (xhigh reasoning)OpenAI | 96.2% | xHigh 推理 |
| 11 | Gemini 3 Pro PreviewGoogle | 94.4% | 来源默认配置 |
| 12 | Claude Opus 5 (xhigh reasoning)Anthropic | 94.3% | xHigh 推理 |
| 13 | Gemini 3.7 FlashGoogle | 94.0% | 来源默认配置 |
| 14 | GPT-5.6 Sol (xhigh reasoning)OpenAI | 93.8% | xHigh 推理 |
| 15 | Kimi K3Moonshot AI | 93.6% | 来源默认配置 |
| 16 | Kimi K3.1 Pro (high reasoning)Moonshot AI | 93.4% | High 推理 |
| 17 | Muse Wonder 1.0 (high reasoning)Meta | 93.4% | High 推理 |
| 18 | DeepSeek V4.1 Flash 1017 (high reasoning)DeepSeek | 92.8% | High 推理 |
| 19 | Claude Fable 5 (high reasoning)Anthropic | 92.7% | High 推理 |
| 20 | Gemini 3.5 FlashGoogle | 92.6% | 来源默认配置 |
| 23 | Claude Opus 4.6 (high reasoning)Anthropic | 92.1% | High 推理 |
| 24 | DeepSeek V4 Pro (high reasoning)DeepSeek | 91.3% | High 推理 |
| 25 | GPT-5.4 (xhigh reasoning)OpenAI | 91.3% | xHigh 推理 |
| 26 | Claude Opus 4.8 (xhigh reasoning)Anthropic | 91.1% | xHigh 推理 |
| 29 | GPT-6 Sol (high reasoning)OpenAI | 90.1% | High 推理 |
| 30 | Claude Fable 5.1 (high reasoning)Anthropic | 90.0% | High 推理 |
| 31 | Grok 4.20 Multi-Agent Exp Beta 0304xAI | 89.6% | 来源默认配置 |
| 32 | DeepSeek V4 FlashDeepSeek | 89.6% | 来源默认配置 |
| 33 | DeepSeek V4.1 Flash (high reasoning)DeepSeek | 89.6% | High 推理 |
| 34 | Gemini 3.6 FlashGoogle | 89.0% | 来源默认配置 |
| 35 | Claude Opus 5.5 (high reasoning)Anthropic | 88.5% | High 推理 |
| 37 | Qwen 3.8 MaxAlibaba | 88.3% | 来源默认配置 |
| 40 | Grok 4.1 Fast ReasoningxAI | 87.4% | 来源默认配置 |
| 41 | Kimi K2.6Moonshot AI | 87.2% | 来源默认配置 |
评测局限与数据署名
顶尖模型都在 97% 以上,前排之间拉不开差距;题目来自英文报纸的词语游戏,偏重英语词汇和文化常识。 缺测留空;回退成绩计入并标注,受影响题目过半不计。
数据许可:官方公开结果;仓库未声明许可证
成绩由 Lech Mazur 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。