跳到正文

WeirdML v3

Håvard Tveit Ihle / 编程 · 面对陌生数据,弄清问题并做出机器学习或数据分析方案。

官方评测
在 AIHOT 中参与排名
所属领域编程
上游数据时间11/06 19:48
最近成功同步11/09 14:05

它测什么,怎么测

GPU 沙盒里的冷门机器学习任务,作者给每个模型跑多次:GPT 用 Codex CLI,Claude 用 Claude Code,Gemini 用 Gemini CLI,Kimi 用 Kimi Code,没有自家 Agent 的模型用 Codex CLI 或 OpenCode。三个配置要模型看图(给船只照片标框、看渲染出来的天空图),按视觉不计分的规则去掉,取其余 12 个配置官方分的平均;同一型号按最高推理档位选代表配置,选择不看分数。

AIHOT 怎么用它

计分:编程领域的机器学习工程一类。上一轮综合榜前 10 家厂商各自名次最高、公开能用(有按量付费 API 或公开权重)的型号,至少 60% 测过才参与计算(发布不满一个月的没测不算缺)。

评测成绩

同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。

原榜名次原榜型号原始成绩代表配置
1GPT-6 Astra (xhigh)OpenAI45.6%xHigh 推理 · codex_cli
2GPT-6.1 Sol (xhigh)OpenAI40.8%xHigh 推理 · codex_cli
3Claude Opus 5.5 (xhigh)Anthropic31.3%xHigh 推理 · claude_code
4GPT-6.1 Terra (xhigh)OpenAI29.6%xHigh 推理 · codex_cli
5Claude Fable 5.1 (xhigh)Anthropic25.3%xHigh 推理 · claude_code
6GPT-6 Sol (xhigh)OpenAI20.0%xHigh 推理 · codex_cli
7Gemini 4 Argon (high)Google19.6%High 推理 · gemini_cli
8Claude Sonnet 5.5 (xhigh)Anthropic18.7%xHigh 推理 · claude_code
9Claude Opus 5 (xhigh)Anthropic17.6%xHigh 推理 · claude_code
10GPT-5.6 Sol (xhigh)OpenAI14.8%xHigh 推理 · codex_cli
11Muse Wonder (xhigh)Meta14.5%xHigh 推理 · codex_cli
12Claude Fable 5 (xhigh)Anthropic14.4%xHigh 推理 · claude_code
13Claude Haiku 5.5 (xhigh)Anthropic9.8%xHigh 推理 · claude_code
14Kimi K3.1 Pro (xhigh, Fireworks)Moonshot AI9.2%xHigh 推理 · kimi_code
15DeepSeek V4.1 Flash 1017 (high, InferenceNet)DeepSeek8.3%High 推理 · codex_cli
16Grok 4.7 (xhigh)xAI8.0%xHigh 推理 · codex_cli
17GPT-6 Luna (xhigh)OpenAI7.5%xHigh 推理 · codex_cli
18Kimi K3 (high, Fireworks)Moonshot AI6.8%High 推理 · kimi_code
19Gemini 3.8 Flash (high)Google6.8%High 推理 · gemini_cli
20Muse Spark 1.3 (xhigh)Meta5.9%xHigh 推理 · codex_cli
21Claude Opus 4.5 (high)Anthropic5.7%High 推理 · claude_code
22DeepSeek V4.1 Flash (high, Novita)DeepSeek5.2%High 推理 · opencode
24GPT-5.6 Luna (xhigh)OpenAI4.7%xHigh 推理 · codex_cli
25GPT-5.2 (xhigh)OpenAI4.5%xHigh 推理 · codex_cli
26Mistral Large 4 (high, Mistral)Mistral AI3.9%High 推理 · opencode
27Inkling (xhigh, Together)Thinking Machines Lab3.7%xHigh 推理 · opencode
评测局限与数据署名

官方分同时看做得多好和花了多少 Token,不是单纯的正确率;去掉看图的配置后,这里的平均分与官网总分不同。部分开源模型经第三方托管服务调用;缺任何一个计分配置的型号不计。 缺测留空;回退成绩计入并标注,受影响题目过半不计。

数据许可:官方公开结果;未声明数据许可

成绩由 Håvard Tveit Ihle 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。