WeirdML v3
Håvard Tveit Ihle / 编程 · 面对陌生数据,弄清问题并做出机器学习或数据分析方案。
在 AIHOT 中参与排名
所属领域编程
上游数据时间11/06 19:48
最近成功同步11/09 14:05
它测什么,怎么测
GPU 沙盒里的冷门机器学习任务,作者给每个模型跑多次:GPT 用 Codex CLI,Claude 用 Claude Code,Gemini 用 Gemini CLI,Kimi 用 Kimi Code,没有自家 Agent 的模型用 Codex CLI 或 OpenCode。三个配置要模型看图(给船只照片标框、看渲染出来的天空图),按视觉不计分的规则去掉,取其余 12 个配置官方分的平均;同一型号按最高推理档位选代表配置,选择不看分数。
AIHOT 怎么用它
计分:编程领域的机器学习工程一类。上一轮综合榜前 10 家厂商各自名次最高、公开能用(有按量付费 API 或公开权重)的型号,至少 60% 测过才参与计算(发布不满一个月的没测不算缺)。
评测成绩
同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 1 | GPT-6 Astra (xhigh)OpenAI | 45.6% | xHigh 推理 · codex_cli |
| 2 | GPT-6.1 Sol (xhigh)OpenAI | 40.8% | xHigh 推理 · codex_cli |
| 3 | Claude Opus 5.5 (xhigh)Anthropic | 31.3% | xHigh 推理 · claude_code |
| 4 | GPT-6.1 Terra (xhigh)OpenAI | 29.6% | xHigh 推理 · codex_cli |
| 5 | Claude Fable 5.1 (xhigh)Anthropic | 25.3% | xHigh 推理 · claude_code |
| 6 | GPT-6 Sol (xhigh)OpenAI | 20.0% | xHigh 推理 · codex_cli |
| 7 | Gemini 4 Argon (high)Google | 19.6% | High 推理 · gemini_cli |
| 8 | Claude Sonnet 5.5 (xhigh)Anthropic | 18.7% | xHigh 推理 · claude_code |
| 9 | Claude Opus 5 (xhigh)Anthropic | 17.6% | xHigh 推理 · claude_code |
| 10 | GPT-5.6 Sol (xhigh)OpenAI | 14.8% | xHigh 推理 · codex_cli |
| 11 | Muse Wonder (xhigh)Meta | 14.5% | xHigh 推理 · codex_cli |
| 12 | Claude Fable 5 (xhigh)Anthropic | 14.4% | xHigh 推理 · claude_code |
| 13 | Claude Haiku 5.5 (xhigh)Anthropic | 9.8% | xHigh 推理 · claude_code |
| 14 | Kimi K3.1 Pro (xhigh, Fireworks)Moonshot AI | 9.2% | xHigh 推理 · kimi_code |
| 15 | DeepSeek V4.1 Flash 1017 (high, InferenceNet)DeepSeek | 8.3% | High 推理 · codex_cli |
| 16 | Grok 4.7 (xhigh)xAI | 8.0% | xHigh 推理 · codex_cli |
| 17 | GPT-6 Luna (xhigh)OpenAI | 7.5% | xHigh 推理 · codex_cli |
| 18 | Kimi K3 (high, Fireworks)Moonshot AI | 6.8% | High 推理 · kimi_code |
| 19 | Gemini 3.8 Flash (high)Google | 6.8% | High 推理 · gemini_cli |
| 20 | Muse Spark 1.3 (xhigh)Meta | 5.9% | xHigh 推理 · codex_cli |
| 21 | Claude Opus 4.5 (high)Anthropic | 5.7% | High 推理 · claude_code |
| 22 | DeepSeek V4.1 Flash (high, Novita)DeepSeek | 5.2% | High 推理 · opencode |
| 24 | GPT-5.6 Luna (xhigh)OpenAI | 4.7% | xHigh 推理 · codex_cli |
| 25 | GPT-5.2 (xhigh)OpenAI | 4.5% | xHigh 推理 · codex_cli |
| 26 | Mistral Large 4 (high, Mistral)Mistral AI | 3.9% | High 推理 · opencode |
| 27 | Inkling (xhigh, Together)Thinking Machines Lab | 3.7% | xHigh 推理 · opencode |
评测局限与数据署名
官方分同时看做得多好和花了多少 Token,不是单纯的正确率;去掉看图的配置后,这里的平均分与官网总分不同。部分开源模型经第三方托管服务调用;缺任何一个计分配置的型号不计。 缺测留空;回退成绩计入并标注,受影响题目过半不计。
数据许可:官方公开结果;未声明数据许可
成绩由 Håvard Tveit Ihle 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。