跳到正文

Extended NYT Connections

Lech Mazur / 知识问答 · 把一组词按隐藏的类别分好,里面还混进了故意误导的干扰词。

官方评测
在 AIHOT 中参与排名
所属领域知识问答
上游数据时间10/24 05:00
最近成功同步10/31 23:28

它测什么,怎么测

Lech Mazur 用同一套提示让每个模型做全部谜题,每题一次,按完全分对的组数计分(分对 g 组得 (g/4)²),不用模型裁判。只取做完全部题目的主榜;同一型号按最高推理档位选代表配置,选择不看分数。

AIHOT 怎么用它

计分:知识问答领域的语言理解一类,与 LiveBench Language 合算一票。上一轮综合榜前 10 家厂商各自名次最高、公开能用(有按量付费 API 或公开权重)的型号,至少 60% 测过才参与计算(发布不满一个月的没测不算缺)。

评测成绩

同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。

原榜名次原榜型号原始成绩代表配置
1Gemini 4 Argon (high reasoning)Google98.6%High 推理
2GPT-6 Astra (max reasoning)OpenAI98.4%Max 推理
4GPT-6.1 Sol (max reasoning)OpenAI97.8%Max 推理
6Gemini 3.1 Pro PreviewGoogle97.4%来源默认配置
7Gemini 3.8 Flash (high reasoning)Google97.4%High 推理
8GPT-5.5 (xhigh reasoning)OpenAI96.2%xHigh 推理
11Gemini 3 Pro PreviewGoogle94.4%来源默认配置
12Claude Opus 5 (xhigh reasoning)Anthropic94.3%xHigh 推理
13Gemini 3.7 FlashGoogle94.0%来源默认配置
14GPT-5.6 Sol (xhigh reasoning)OpenAI93.8%xHigh 推理
15Kimi K3Moonshot AI93.6%来源默认配置
16Kimi K3.1 Pro (high reasoning)Moonshot AI93.4%High 推理
17Muse Wonder 1.0 (high reasoning)Meta93.4%High 推理
18DeepSeek V4.1 Flash 1017 (high reasoning)DeepSeek92.8%High 推理
19Claude Fable 5 (high reasoning)Anthropic92.7%High 推理
20Gemini 3.5 FlashGoogle92.6%来源默认配置
23Claude Opus 4.6 (high reasoning)Anthropic92.1%High 推理
24DeepSeek V4 Pro (high reasoning)DeepSeek91.3%High 推理
25GPT-5.4 (xhigh reasoning)OpenAI91.3%xHigh 推理
26Claude Opus 4.8 (xhigh reasoning)Anthropic91.1%xHigh 推理
29GPT-6 Sol (high reasoning)OpenAI90.1%High 推理
30Claude Fable 5.1 (high reasoning)Anthropic90.0%High 推理
31Grok 4.20 Multi-Agent Exp Beta 0304xAI89.6%来源默认配置
32DeepSeek V4 FlashDeepSeek89.6%来源默认配置
33DeepSeek V4.1 Flash (high reasoning)DeepSeek89.6%High 推理
34Gemini 3.6 FlashGoogle89.0%来源默认配置
35Claude Opus 5.5 (high reasoning)Anthropic88.5%High 推理
37Qwen 3.8 MaxAlibaba88.3%来源默认配置
40Grok 4.1 Fast ReasoningxAI87.4%来源默认配置
41Kimi K2.6Moonshot AI87.2%来源默认配置
评测局限与数据署名

顶尖模型都在 97% 以上,前排之间拉不开差距;题目来自英文报纸的词语游戏,偏重英语词汇和文化常识。 缺测留空;回退成绩计入并标注,受影响题目过半不计。

数据许可:官方公开结果;仓库未声明许可证

成绩由 Lech Mazur 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。