Terminal-Bench Science · AA
Artificial Analysis / 科研 · 在命令行里走完一段科研流程:处理数据、跑分析、得出结果。
在 AIHOT 中参与排名
所属领域科研
上游数据时间待核实
最近成功同步11/22 20:05
它测什么,怎么测
70 个 Harbour 科学终端任务,统一 mini-swe-agent,每题三次运行的平均 pass@1。
AIHOT 怎么用它
计分:科学工作流;与 Vals 复跑的同一题库共用一类评测。从上一轮综合榜已收录官方 API 价格或公开权重的型号里,取前 10 家厂商各自名次最高的型号。至少测过其中 60% 才参与计算(发布不满一个月的没测不算缺)。
评测成绩
同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 2 | gpt-6-2-astraOpenAI | 78.1% | Max 推理 |
| 5 | claude-fable-5-2Anthropic | 73.3% | Max 推理 · 含来源回退 |
| 6 | gemini-4-neonGoogle | 70.0% | xHigh 推理 |
| 8 | gpt-6-2-solOpenAI | 67.6% | Max 推理 |
| 13 | gemini-4-carbonGoogle | 64.8% | High 推理 |
| 14 | gpt-6-astraOpenAI | 63.3% | Max 推理 |
| 21 | claude-opus-5-5Anthropic | 59.0% | Max 推理 · 含来源回退 |
| 22 | gpt-6-1-solOpenAI | 58.1% | Max 推理 |
| 23 | gpt-6-1-terraOpenAI | 57.6% | Max 推理 |
| 27 | claude-sonnet-5-5Anthropic | 53.3% | Max 推理 · 含来源回退 |
| 29 | gemini-4-argonGoogle | 52.9% | High 推理 |
| 33 | gemini-4-hydrogenGoogle | 49.5% | xHigh 推理 |
| 37 | claude-fable-5-1Anthropic | 43.3% | Max 推理 · 含来源回退 |
| 43 | muse-wonder-fullMeta | 37.1% | Max 推理 |
| 47 | kimi-k3-1-proMoonshot AI | 34.3% | 来源默认配置 |
| 50 | gpt-6-solOpenAI | 30.0% | Max 推理 |
| 52 | claude-opus-5Anthropic | 28.6% | Max 推理 |
| 54 | muse-wonderMeta | 25.7% | Max 推理 |
| 58 | qwen4-maxAlibaba | 23.3% | 来源默认配置 |
| 59 | gpt-5-6-solOpenAI | 22.4% | Max 推理 |
| 62 | claude-haiku-5-5Anthropic | 20.0% | Max 推理 |
| 62 | muse-emberMeta | 20.0% | Max 推理 |
| 70 | gpt-5-6-terraOpenAI | 13.8% | Max 推理 |
| 71 | deepseek-v4-1-flash-1017DeepSeek | 12.9% | Max 推理 |
| 71 | tencent-hy4Tencent | 12.9% | 来源默认配置 |
| 73 | qwen3-8-maxAlibaba | 11.9% | 来源默认配置 |
| 74 | grok-4-7xAI | 11.4% | xHigh 推理 |
| 75 | muse-spark-1-3Meta | 11.0% | Max 推理 |
| 80 | gemini-3-8-flashGoogle | 10.0% | High 推理 |
| 82 | glm-5-3Z.ai | 9.5% | Max 推理 |
评测局限与数据署名
取 terminalBenchScience 总体成绩,不混用领域切片。 缺测留空;回退成绩计入并标注,受影响题目过半不计。
数据许可:Artificial Analysis 公开页面数据;展示须显著署名并链接来源,遵守其 Terms of Use
成绩由 Artificial Analysis 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。