跳到正文

τ³-Banking(Mercor 复跑)

Mercor / 专业办公 · 扮演银行客服跟模拟客户对话:查政策、找产品、改账户。

官方评测
在 AIHOT 中参与排名
所属领域专业办公
上游数据时间待核实
最近成功同步11/18 20:05

它测什么,怎么测

取 Mercor 给所有模型统一复跑的 pass@1。同一型号按最高推理档位选代表配置,选择不看分数。

AIHOT 怎么用它

计分:专业办公领域的客服一类。

评测成绩

同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。

原榜名次原榜型号原始成绩代表配置
1kimi-k3.1-proMoonshot AI59.8%Max 推理
2gemini-4-argonGoogle58.1%High 推理
3gemini/gemini-4-hydrogen-eapGoogle57.0%xHigh 推理
4gemini-4-carbonGoogle55.7%High 推理
4claude-fable-5-2Anthropic55.7%Max 推理
6claude-opus-5-5Anthropic55.0%Max 推理
7claude-sonnet-5-5Anthropic54.0%Max 推理
7claude-fable-5.1Anthropic54.0%Max 推理
9muse-emberMeta53.3%Max 推理
10muse-spark-1-3Meta52.2%xHigh 推理
11responses/aurora-alphaOpenAI52.1%Max 推理
12muse-wonder-1-0-maxMeta51.9%Max 推理
13gemini-3.8-flashGoogle48.8%High 推理
14responses/halo-alphaOpenAI48.5%Max 推理
15tencent/hy4Tencent48.1%High 推理
16qwen-3-8-max-xhighAlibaba46.7%xHigh 推理
16gpt-6-astra-maxOpenAI46.7%Max 推理
18grok-4-6-xhighxAI45.7%xHigh 推理
19claude-opus-5Anthropic44.0%Max 推理
20claude-haiku-5-5Anthropic43.0%Max 推理
20gpt-6-1-solOpenAI43.0%Max 推理
20gpt-5-6-sol-max-proOpenAI43.0%Max 推理未计入:Pro 系统多次采样后汇总作答,不是 GPT-5.6 Sol 本身。
20gpt-6-solOpenAI43.0%Max 推理
24tencent/hy4-flashTencent42.3%High 推理
25deepseek-v4-1-flash-1017DeepSeek41.6%Max 推理
26inception/mercury-3Inception40.5%High 推理
26glm-5-3Z.ai40.5%Max 推理
28deepseek-v4-pro-08-13DeepSeek40.2%Max 推理
28gpt-6-lunaOpenAI40.2%Max 推理
30inkling-small-1102-rc17Thinking Machines Lab39.9%来源默认配置
评测局限与数据署名

依赖模拟用户与工具协议,只代表银行客服场景;Sierra 官方榜单里它自己跑的那批成绩 2026-08-04 以后没再更新,不计分。

数据许可:官方公开结果;题目与评测框架来自 Sierra tau2-bench(MIT)

成绩由 Mercor 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。