跳到正文

MysteryMechanism(Vals AI)

Vals AI / 推理 · 自己设计实验,去推断一套隐藏的规律。

官方评测
在 AIHOT 中参与排名
所属领域推理
上游数据时间10/01 08:00
最近成功同步10/04 20:24

它测什么,怎么测

取 Vals 专项页 Overall 成绩。同一型号按最高推理档位选代表配置,选择不看分数。

如何使用这份证据

计分:推理领域的实验推断一类。

评测成绩

按固定规则,每个公开模型采用一套代表配置;没有可采用配置的模型标为未计入并写明原因。匿名测试型号不展示,保留原榜名次,每项最多 30 个。

原榜名次原榜型号原始成绩代表配置
1openai/gpt-6-astraOpenAI53.2%Max 推理
2anthropic/claude-opus-5-5Anthropic49.5%Max 推理
3anthropic/claude-sonnet-5-5Anthropic49.1%Max 推理
4anthropic/claude-fable-5-1Anthropic47.7%Max 推理
5openai/gpt-6.1-solOpenAI46.4%Max 推理
6google/gemini-4-argonGoogle45.5%High 推理
7anthropic/claude-opus-5Anthropic37.4%Max 推理
8google/gemini-3.8-flashGoogle36.5%High 推理
9meta/muse_spark_1_3_maxMeta36.0%Max 推理
10openai/gpt-5.6-solOpenAI33.3%Max 推理
11grok/grok-4.6xAI30.6%High 推理
12openai/gpt-6-solOpenAI30.2%Max 推理
13grok/grok-4.7xAI25.2%xHigh 推理
14alibaba/qwen3.8-maxAlibaba23.9%来源默认配置
15zai/glm-5.3Z.ai23.0%Max 推理
16fireworks/ember-1Fireworks AI22.5%来源默认配置
17xiaomi/mimo-v2.6-flashXiaomi21.6%来源默认配置
18deepseek/deepseek-v4.1-flashDeepSeek21.2%High 推理
19google/gemini-3.1-pro-previewGoogle20.7%High 推理
20openai/gpt-6-lunaOpenAI19.4%Max 推理
21stepfun/step-5-previewStepFun18.5%来源默认配置
22xiaomi/mimo-v2.6-proXiaomi15.3%来源默认配置
23openai/gpt-5.6-lunaOpenAI14.4%Max 推理
评测局限与数据署名

参评模型较少;Vals 公布每次运行有多少题被厂商接口转给了同厂商的旧型号:有回退的成绩照常计入并在模型页标注,受影响题目过半的不计。同属 Vals 的几项评测不能当作多家独立机构。

数据许可:官方公开结果;公开再展示保留官方署名,完整再分发授权仍以 Vals 条款为准

成绩由 Vals AI 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们换算到同一条能力刻度上。