跳到正文

Terminal-Bench Science · AA

Artificial Analysis / 科研 · 在命令行里走完一段科研流程:处理数据、跑分析、得出结果。

官方评测
在 AIHOT 中参与排名
所属领域科研
上游数据时间待核实
最近成功同步11/22 20:05

它测什么,怎么测

70 个 Harbour 科学终端任务,统一 mini-swe-agent,每题三次运行的平均 pass@1。

AIHOT 怎么用它

计分:科学工作流;与 Vals 复跑的同一题库共用一类评测。从上一轮综合榜已收录官方 API 价格或公开权重的型号里,取前 10 家厂商各自名次最高的型号。至少测过其中 60% 才参与计算(发布不满一个月的没测不算缺)。

评测成绩

同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。

原榜名次原榜型号原始成绩代表配置
2gpt-6-2-astraOpenAI78.1%Max 推理
5claude-fable-5-2Anthropic73.3%Max 推理 · 含来源回退
6gemini-4-neonGoogle70.0%xHigh 推理
8gpt-6-2-solOpenAI67.6%Max 推理
13gemini-4-carbonGoogle64.8%High 推理
14gpt-6-astraOpenAI63.3%Max 推理
21claude-opus-5-5Anthropic59.0%Max 推理 · 含来源回退
22gpt-6-1-solOpenAI58.1%Max 推理
23gpt-6-1-terraOpenAI57.6%Max 推理
27claude-sonnet-5-5Anthropic53.3%Max 推理 · 含来源回退
29gemini-4-argonGoogle52.9%High 推理
33gemini-4-hydrogenGoogle49.5%xHigh 推理
37claude-fable-5-1Anthropic43.3%Max 推理 · 含来源回退
43muse-wonder-fullMeta37.1%Max 推理
47kimi-k3-1-proMoonshot AI34.3%来源默认配置
50gpt-6-solOpenAI30.0%Max 推理
52claude-opus-5Anthropic28.6%Max 推理
54muse-wonderMeta25.7%Max 推理
58qwen4-maxAlibaba23.3%来源默认配置
59gpt-5-6-solOpenAI22.4%Max 推理
62claude-haiku-5-5Anthropic20.0%Max 推理
62muse-emberMeta20.0%Max 推理
70gpt-5-6-terraOpenAI13.8%Max 推理
71deepseek-v4-1-flash-1017DeepSeek12.9%Max 推理
71tencent-hy4Tencent12.9%来源默认配置
73qwen3-8-maxAlibaba11.9%来源默认配置
74grok-4-7xAI11.4%xHigh 推理
75muse-spark-1-3Meta11.0%Max 推理
80gemini-3-8-flashGoogle10.0%High 推理
82glm-5-3Z.ai9.5%Max 推理
评测局限与数据署名

取 terminalBenchScience 总体成绩,不混用领域切片。 缺测留空;回退成绩计入并标注,受影响题目过半不计。

数据许可:Artificial Analysis 公开页面数据;展示须显著署名并链接来源,遵守其 Terms of Use

成绩由 Artificial Analysis 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。