跳到正文

BioMysteryBench(Vals AI)

Vals AI / 科研 · 分析真实的生物数据,推断出背后的生物学答案。

官方评测
在 AIHOT 中参与排名
所属领域科研
上游数据时间11/05 08:00
最近成功同步11/09 20:05

它测什么,怎么测

Anthropic 编写的 90 道生物信息学谜题,Vals 用 Terminus 2 给每个模型完整跑三遍取平均,固定的大模型裁判判断答案对不对。同一型号按最高推理档位选代表配置,选择不看分数。

AIHOT 怎么用它

计分:科研领域的生物数据分析一类。上一轮综合榜前 10 家厂商各自名次最高、公开能用(有按量付费 API 或公开权重)的型号,至少 60% 测过才参与计算(发布不满一个月的没测不算缺)。

评测成绩

同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。

原榜名次原榜型号原始成绩代表配置
1anthropic/claude-sonnet-5-5Anthropic81.1%Max 推理
2openai/gpt-6.1-solOpenAI79.6%Max 推理
3anthropic/claude-opus-5-5Anthropic79.3%Max 推理
3anthropic/claude-opus-5Anthropic79.3%Max 推理
3openai/gpt-6-astraOpenAI79.3%Max 推理
6google/gemini-4-argonGoogle76.3%High 推理
7kimi/kimi-k3.1-proMoonshot AI75.6%Max 推理
8openai/gpt-6-solOpenAI74.8%Max 推理
9meta/muse-wonder-fullMeta73.3%Max 推理
10kimi/kimi-k3Moonshot AI72.6%Max 推理
11grok/grok-4.6xAI72.2%High 推理
12openai/gpt-5.6-solOpenAI71.1%Max 推理
13anthropic/claude-haiku-5-5Anthropic70.4%Max 推理
14thinkingmachines/inkling-2-smallThinking Machines Lab70.0%来源默认配置
15xiaomi/mimo-v2.6-flashXiaomi69.3%来源默认配置
15grok/grok-4.7xAI69.3%xHigh 推理
15tencent/hy4-previewTencent69.3%来源默认配置
18deepseek/deepseek-v4.1-flashDeepSeek67.8%High 推理
19stepfun/step-5-previewStepFun67.4%来源默认配置
20mistralai/mistral-large-4Mistral AI67.0%High 推理
20fireworks/ember-1Fireworks AI67.0%来源默认配置
20meta/muse-wonderMeta67.0%Max 推理
23meta/muse_spark_1_2Meta64.8%xHigh 推理
24deepseek/deepseek-v4-flash-0731DeepSeek64.4%High 推理
25google/gemini-3.8-flashGoogle62.2%High 推理
26openai/gpt-5.6-lunaOpenAI61.5%Max 推理
26openai/gpt-6-lunaOpenAI61.5%Max 推理
28google/gemini-3.1-pro-previewGoogle60.0%High 推理
29google/gemini-3.6-flashGoogle58.5%High 推理
30reflection/Beam-1.0Reflection42.6%来源默认配置
评测局限与数据署名

题目由 Anthropic 编写;答案由大模型裁判判定。Vals 公布每次运行有多少题被厂商接口转给了同厂商的旧型号:有回退的成绩照常计入并在模型页标注,受影响题目过半的不计。同属 Vals 的几项评测不能当作多家独立机构。

数据许可:官方公开结果;公开再展示保留官方署名,完整再分发授权仍以 Vals 条款为准

成绩由 Vals AI 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。