Terminal-Bench Science · Vals
Vals AI / 科研 · 在命令行里走完一段科研流程:处理数据、跑分析、得出结果。
在 AIHOT 中参与排名
所属领域科研
上游数据时间11/19 08:00
最近成功同步11/22 20:05
它测什么,怎么测
70 个专家审核的科学终端任务,统一 Mini-SWE-agent,由任务验证器检查结果。
AIHOT 怎么用它
计分:科学工作流;与 AA 复跑的同一题库共用一类评测。从上一轮综合榜已收录官方 API 价格或公开权重的型号里,取前 10 家厂商各自名次最高的型号。至少测过其中 60% 才参与计算(发布不满一个月的没测不算缺)。
评测成绩
同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。
评测局限与数据署名
只取版本 0.1 的 Mini-SWE-agent 成绩;Terminus 2 不混入。 缺测留空;回退成绩计入并标注,受影响题目过半不计。
数据许可:官方公开结果;公开再展示保留官方署名,完整再分发授权仍以 Vals 条款为准
成绩由 Vals AI 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。