τ³-Banking(Mercor 复跑)
Mercor / 专业办公 · 扮演银行客服跟模拟客户对话:查政策、找产品、改账户。
在 AIHOT 中参与排名
所属领域专业办公
上游数据时间待核实
最近成功同步11/18 20:05
它测什么,怎么测
取 Mercor 给所有模型统一复跑的 pass@1。同一型号按最高推理档位选代表配置,选择不看分数。
AIHOT 怎么用它
计分:专业办公领域的客服一类。
评测成绩
同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 1 | kimi-k3.1-proMoonshot AI | 59.8% | Max 推理 |
| 2 | gemini-4-argonGoogle | 58.1% | High 推理 |
| 3 | gemini/gemini-4-hydrogen-eapGoogle | 57.0% | xHigh 推理 |
| 4 | gemini-4-carbonGoogle | 55.7% | High 推理 |
| 4 | claude-fable-5-2Anthropic | 55.7% | Max 推理 |
| 6 | claude-opus-5-5Anthropic | 55.0% | Max 推理 |
| 7 | claude-sonnet-5-5Anthropic | 54.0% | Max 推理 |
| 7 | claude-fable-5.1Anthropic | 54.0% | Max 推理 |
| 9 | muse-emberMeta | 53.3% | Max 推理 |
| 10 | muse-spark-1-3Meta | 52.2% | xHigh 推理 |
| 11 | responses/aurora-alphaOpenAI | 52.1% | Max 推理 |
| 12 | muse-wonder-1-0-maxMeta | 51.9% | Max 推理 |
| 13 | gemini-3.8-flashGoogle | 48.8% | High 推理 |
| 14 | responses/halo-alphaOpenAI | 48.5% | Max 推理 |
| 15 | tencent/hy4Tencent | 48.1% | High 推理 |
| 16 | qwen-3-8-max-xhighAlibaba | 46.7% | xHigh 推理 |
| 16 | gpt-6-astra-maxOpenAI | 46.7% | Max 推理 |
| 18 | grok-4-6-xhighxAI | 45.7% | xHigh 推理 |
| 19 | claude-opus-5Anthropic | 44.0% | Max 推理 |
| 20 | claude-haiku-5-5Anthropic | 43.0% | Max 推理 |
| 20 | gpt-6-1-solOpenAI | 43.0% | Max 推理 |
| 20 | gpt-5-6-sol-max-proOpenAI | 43.0% | Max 推理未计入:Pro 系统多次采样后汇总作答,不是 GPT-5.6 Sol 本身。 |
| 20 | gpt-6-solOpenAI | 43.0% | Max 推理 |
| 24 | tencent/hy4-flashTencent | 42.3% | High 推理 |
| 25 | deepseek-v4-1-flash-1017DeepSeek | 41.6% | Max 推理 |
| 26 | inception/mercury-3Inception | 40.5% | High 推理 |
| 26 | glm-5-3Z.ai | 40.5% | Max 推理 |
| 28 | deepseek-v4-pro-08-13DeepSeek | 40.2% | Max 推理 |
| 28 | gpt-6-lunaOpenAI | 40.2% | Max 推理 |
| 30 | inkling-small-1102-rc17Thinking Machines Lab | 39.9% | 来源默认配置 |
评测局限与数据署名
依赖模拟用户与工具协议,只代表银行客服场景;Sierra 官方榜单里它自己跑的那批成绩 2026-08-04 以后没再更新,不计分。
数据许可:官方公开结果;题目与评测框架来自 Sierra tau2-bench(MIT)
成绩由 Mercor 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。