BioMysteryBench(Vals AI)
Vals AI / 科研 · 分析真实的生物数据,推断出背后的生物学答案。
在 AIHOT 中参与排名
所属领域科研
上游数据时间11/05 08:00
最近成功同步11/09 20:05
它测什么,怎么测
Anthropic 编写的 90 道生物信息学谜题,Vals 用 Terminus 2 给每个模型完整跑三遍取平均,固定的大模型裁判判断答案对不对。同一型号按最高推理档位选代表配置,选择不看分数。
AIHOT 怎么用它
计分:科研领域的生物数据分析一类。上一轮综合榜前 10 家厂商各自名次最高、公开能用(有按量付费 API 或公开权重)的型号,至少 60% 测过才参与计算(发布不满一个月的没测不算缺)。
评测成绩
同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 1 | anthropic/claude-sonnet-5-5Anthropic | 81.1% | Max 推理 |
| 2 | openai/gpt-6.1-solOpenAI | 79.6% | Max 推理 |
| 3 | anthropic/claude-opus-5-5Anthropic | 79.3% | Max 推理 |
| 3 | anthropic/claude-opus-5Anthropic | 79.3% | Max 推理 |
| 3 | openai/gpt-6-astraOpenAI | 79.3% | Max 推理 |
| 6 | google/gemini-4-argonGoogle | 76.3% | High 推理 |
| 7 | kimi/kimi-k3.1-proMoonshot AI | 75.6% | Max 推理 |
| 8 | openai/gpt-6-solOpenAI | 74.8% | Max 推理 |
| 9 | meta/muse-wonder-fullMeta | 73.3% | Max 推理 |
| 10 | kimi/kimi-k3Moonshot AI | 72.6% | Max 推理 |
| 11 | grok/grok-4.6xAI | 72.2% | High 推理 |
| 12 | openai/gpt-5.6-solOpenAI | 71.1% | Max 推理 |
| 13 | anthropic/claude-haiku-5-5Anthropic | 70.4% | Max 推理 |
| 14 | thinkingmachines/inkling-2-smallThinking Machines Lab | 70.0% | 来源默认配置 |
| 15 | xiaomi/mimo-v2.6-flashXiaomi | 69.3% | 来源默认配置 |
| 15 | grok/grok-4.7xAI | 69.3% | xHigh 推理 |
| 15 | tencent/hy4-previewTencent | 69.3% | 来源默认配置 |
| 18 | deepseek/deepseek-v4.1-flashDeepSeek | 67.8% | High 推理 |
| 19 | stepfun/step-5-previewStepFun | 67.4% | 来源默认配置 |
| 20 | mistralai/mistral-large-4Mistral AI | 67.0% | High 推理 |
| 20 | fireworks/ember-1Fireworks AI | 67.0% | 来源默认配置 |
| 20 | meta/muse-wonderMeta | 67.0% | Max 推理 |
| 23 | meta/muse_spark_1_2Meta | 64.8% | xHigh 推理 |
| 24 | deepseek/deepseek-v4-flash-0731DeepSeek | 64.4% | High 推理 |
| 25 | google/gemini-3.8-flashGoogle | 62.2% | High 推理 |
| 26 | openai/gpt-5.6-lunaOpenAI | 61.5% | Max 推理 |
| 26 | openai/gpt-6-lunaOpenAI | 61.5% | Max 推理 |
| 28 | google/gemini-3.1-pro-previewGoogle | 60.0% | High 推理 |
| 29 | google/gemini-3.6-flashGoogle | 58.5% | High 推理 |
| 30 | reflection/Beam-1.0Reflection | 42.6% | 来源默认配置 |
评测局限与数据署名
题目由 Anthropic 编写;答案由大模型裁判判定。Vals 公布每次运行有多少题被厂商接口转给了同厂商的旧型号:有回退的成绩照常计入并在模型页标注,受影响题目过半的不计。同属 Vals 的几项评测不能当作多家独立机构。
数据许可:官方公开结果;公开再展示保留官方署名,完整再分发授权仍以 Vals 条款为准
成绩由 Vals AI 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。