Mercor APEX-SWE

Name: Mercor APEX-SWE
Creator: Mercor

Mercor / 编程 · 在真实工程环境里做系统集成、排查线上故障。

官方评测

在 AIHOT 中参与排名

所属领域编程

上游数据时间待核实

最近成功同步10/28 21:56

它测什么，怎么测

200 道不公开的工程题：100 道系统集成（写应用代码、配基础设施、把服务部署起来），100 道线上排障（看日志和开发者讨论，追到代码里的根因）。只取 Mercor 用 Terminus-2 统一跑的 Pass@1，评分细则全部满足才算通过；按预先固定的推理档位选配置，选择不看分数。

AIHOT 怎么用它

计分：系统集成与排障一类评测。固定 10 个对照型号至少测到 6 个，才参与计算。

评测成绩

同一模型测了多个档位时，按固定规则只取一套代表成绩；没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示，名次照搬原榜，每项最多列 30 个。

原榜名次	原榜型号	原始成绩	代表配置
1	claude-opus-5-5Anthropic	67.6%	Max 推理 · terminus-2 · apex-swe:terminus-2
2	claude-sonnet-5-5Anthropic	66.4%	Max 推理 · terminus-2 · apex-swe:terminus-2
3	claude-opus-5Anthropic	63.7%	Max 推理 · terminus-2 · apex-swe:terminus-2
4	claude-fable-5.1Anthropic	63.6%	Max 推理 · terminus-2 · apex-swe:terminus-2
5	claude-fable-5Anthropic	58.9%	Max 推理 · terminus-2 · apex-swe:terminus-2
6	grok-4-6-xhighxAI	57.7%	xHigh 推理 · terminus-2 · apex-swe:terminus-2
9	claude-haiku-5-5Anthropic	55.1%	Max 推理 · terminus-2 · apex-swe:terminus-2
10	muse-wonder-1-0-maxMeta	54.6%	Max 推理 · terminus-2 · apex-swe:terminus-2
11	mimo-v2.6-proXiaomi	54.2%	完整系统 · terminus-2 · apex-swe:terminus-2
12	grok-4-5xAI	53.6%	High 推理 · terminus-2 · apex-swe:terminus-2
13	grok-4.7xAI	53.4%	xHigh 推理 · terminus-2 · apex-swe:terminus-2
14	qwen-3-8-max-xhighAlibaba	52.3%	xHigh 推理 · terminus-2 · apex-swe:terminus-2
15	deepseek-v4-1-flashDeepSeek	51.9%	Max 推理 · terminus-2 · apex-swe:terminus-2
16	qwen-3-8-27bAlibaba	50.7%	xHigh 推理 · terminus-2 · apex-swe:terminus-2
17	gemini-4-argonGoogle	49.2%	High 推理 · terminus-2 · apex-swe:terminus-2
18	deepseek-v4-1-flash-1017DeepSeek	49.1%	Max 推理 · terminus-2 · apex-swe:terminus-2
19	gpt-6-astra-maxOpenAI	48.6%	Max 推理 · terminus-2 · apex-swe:terminus-2
20	kimi-k3Moonshot AI	48.0%	Max 推理 · terminus-2 · apex-swe:terminus-2
20	gpt-5-6-sol-maxOpenAI	48.0%	Max 推理 · terminus-2 · apex-swe:terminus-2
22	claude-opus-4-7Anthropic	47.6%	Max 推理 · terminus-2 · apex-swe:terminus-2
23	gpt-6-1-solOpenAI	46.9%	Max 推理 · terminus-2 · apex-swe:terminus-2
24	deepseek-v4-flashDeepSeek	46.7%	Max 推理 · terminus-2 · apex-swe:terminus-2未计入：来源只写了不带日期的型号名，无法确认测的是哪个版本。
25	claude-sonnet-5-maxAnthropic	46.4%	Max 推理 · terminus-2 · apex-swe:terminus-2
26	glm-5-3-flashZ.ai	46.1%	Max 推理 · terminus-2 · apex-swe:terminus-2
27	deepseek-v4-pro-08-13DeepSeek	45.9%	Max 推理 · terminus-2 · apex-swe:terminus-2
29	glm-5-3Z.ai	45.6%	Max 推理 · terminus-2 · apex-swe:terminus-2
30	gpt-6-solOpenAI	45.0%	Max 推理 · terminus-2 · apex-swe:terminus-2
32	claude-opus-4-8Anthropic	43.9%	Max 推理 · terminus-2 · apex-swe:terminus-2
33	inception/mercury-3Inception	43.1%	High 推理 · terminus-2 · apex-swe:terminus-2
34	gemini-3.7-flashGoogle	42.0%	High 推理 · terminus-2 · apex-swe:terminus-2

评测局限与数据署名

评分细则由专家编写、模型裁判判定；题目由 Mercor 与 Cognition 合作编写。只用旧框架 Inspect 跑过的型号不计，Cognition 自家模型目前只有 Inspect 成绩。缺测留空；回退成绩计入并标注，受影响题目过半不计。

数据许可：官方公开结果；数据与代码许可不等于榜单再分发授权

成绩由 Mercor 发布。各项评测的原始分数尺度不同，不能直接相加；AIHOT 按公开规则把它们折算成同一种分数。