MysteryMechanism(Vals AI)
Vals AI / 推理 · 自己设计实验,去推断一套隐藏的规律。
在 AIHOT 中参与排名
所属领域推理
上游数据时间10/01 08:00
最近成功同步10/04 20:24
它测什么,怎么测
取 Vals 专项页 Overall 成绩。同一型号按最高推理档位选代表配置,选择不看分数。
如何使用这份证据
计分:推理领域的实验推断一类。
评测成绩
按固定规则,每个公开模型采用一套代表配置;没有可采用配置的模型标为未计入并写明原因。匿名测试型号不展示,保留原榜名次,每项最多 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 1 | openai/gpt-6-astraOpenAI | 53.2% | Max 推理 |
| 2 | anthropic/claude-opus-5-5Anthropic | 49.5% | Max 推理 |
| 3 | anthropic/claude-sonnet-5-5Anthropic | 49.1% | Max 推理 |
| 4 | anthropic/claude-fable-5-1Anthropic | 47.7% | Max 推理 |
| 5 | openai/gpt-6.1-solOpenAI | 46.4% | Max 推理 |
| 6 | google/gemini-4-argonGoogle | 45.5% | High 推理 |
| 7 | anthropic/claude-opus-5Anthropic | 37.4% | Max 推理 |
| 8 | google/gemini-3.8-flashGoogle | 36.5% | High 推理 |
| 9 | meta/muse_spark_1_3_maxMeta | 36.0% | Max 推理 |
| 10 | openai/gpt-5.6-solOpenAI | 33.3% | Max 推理 |
| 11 | grok/grok-4.6xAI | 30.6% | High 推理 |
| 12 | openai/gpt-6-solOpenAI | 30.2% | Max 推理 |
| 13 | grok/grok-4.7xAI | 25.2% | xHigh 推理 |
| 14 | alibaba/qwen3.8-maxAlibaba | 23.9% | 来源默认配置 |
| 15 | zai/glm-5.3Z.ai | 23.0% | Max 推理 |
| 16 | fireworks/ember-1Fireworks AI | 22.5% | 来源默认配置 |
| 17 | xiaomi/mimo-v2.6-flashXiaomi | 21.6% | 来源默认配置 |
| 18 | deepseek/deepseek-v4.1-flashDeepSeek | 21.2% | High 推理 |
| 19 | google/gemini-3.1-pro-previewGoogle | 20.7% | High 推理 |
| 20 | openai/gpt-6-lunaOpenAI | 19.4% | Max 推理 |
| 21 | stepfun/step-5-previewStepFun | 18.5% | 来源默认配置 |
| 22 | xiaomi/mimo-v2.6-proXiaomi | 15.3% | 来源默认配置 |
| 23 | openai/gpt-5.6-lunaOpenAI | 14.4% | Max 推理 |
评测局限与数据署名
参评模型较少;Vals 公布每次运行有多少题被厂商接口转给了同厂商的旧型号:有回退的成绩照常计入并在模型页标注,受影响题目过半的不计。同属 Vals 的几项评测不能当作多家独立机构。
数据许可:官方公开结果;公开再展示保留官方署名,完整再分发授权仍以 Vals 条款为准
成绩由 Vals AI 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们换算到同一条能力刻度上。