跳到正文

Terminal-Bench Science · Vals

Vals AI / 科研 · 在命令行里走完一段科研流程:处理数据、跑分析、得出结果。

官方评测
在 AIHOT 中参与排名
所属领域科研
上游数据时间11/19 08:00
最近成功同步11/22 20:05

它测什么,怎么测

70 个专家审核的科学终端任务,统一 Mini-SWE-agent,由任务验证器检查结果。

AIHOT 怎么用它

计分:科学工作流;与 AA 复跑的同一题库共用一类评测。从上一轮综合榜已收录官方 API 价格或公开权重的型号里,取前 10 家厂商各自名次最高的型号。至少测过其中 60% 才参与计算(发布不满一个月的没测不算缺)。

评测成绩

同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。

原榜名次原榜型号原始成绩代表配置
1openai/gpt-6.2-astraOpenAI71.4%Max 推理
2google/cobalt-c-high-1p00Google62.9%xHigh 推理
2openai/gpt-6-astraOpenAI62.9%Max 推理
4openai/gpt-6.2-solOpenAI58.6%Max 推理
5anthropic/claude-fable-5-2Anthropic55.7%High 推理
6openai/gpt-6.1-solOpenAI52.9%Max 推理
7anthropic/claude-sonnet-5-5Anthropic47.1%Max 推理
7anthropic/claude-opus-5-5Anthropic47.1%Max 推理
9google/gemini-4-argonGoogle44.3%High 推理
10anthropic/claude-fable-5-1Anthropic40.0%Max 推理
11meta/muse-wonder-fullMeta37.1%Max 推理
12kimi/kimi-k3.1-proMoonshot AI31.4%Max 推理
13openai/gpt-6-solOpenAI30.0%Max 推理
14anthropic/claude-opus-5Anthropic27.1%Max 推理
15meta/muse-wonderMeta22.9%Max 推理
16openai/gpt-5.6-solOpenAI20.0%Max 推理
17anthropic/claude-fable-5Anthropic15.7%Max 推理
18alibaba/qwen3.8-maxAlibaba12.9%来源默认配置
19grok/grok-4.6xAI11.4%High 推理
20anthropic/claude-haiku-5-5Anthropic10.0%Max 推理
20meta/muse_spark_1_3_maxMeta10.0%Max 推理
20openai/gpt-5.6-terraOpenAI10.0%Max 推理
20grok/grok-4.7xAI10.0%xHigh 推理
24google/gemini-3.8-flashGoogle8.6%High 推理
25google/gemini-3.7-flashGoogle7.1%High 推理
26zai/glm-5.3Z.ai5.7%Max 推理
26anthropic/claude-sonnet-5Anthropic5.7%Max 推理
26fireworks/ember-1Fireworks AI5.7%来源默认配置
26google/gemini-3.5-flashGoogle5.7%High 推理
30anthropic/claude-opus-4-8Anthropic4.3%Max 推理
评测局限与数据署名

只取版本 0.1 的 Mini-SWE-agent 成绩;Terminus 2 不混入。 缺测留空;回退成绩计入并标注,受影响题目过半不计。

数据许可:官方公开结果;公开再展示保留官方署名,完整再分发授权仍以 Vals 条款为准

成绩由 Vals AI 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。