Harvey 法律 Agent 基准 1.1（Artificial Analysis 复跑）
Artificial Analysis / 专业办公 · 读案卷，交付法律备忘录、披露清单、证词摘要、修订稿等文书。
在 AIHOT 中参与排名
所属领域专业办公
上游数据时间待核实
最近成功同步10/28 21:56
它测什么，怎么测
Harvey 不公开的 120 道题，覆盖 24 个执业领域；统一 Stirrup 工具流程，断网；三名模型裁判逐条核对，交付物里有实质性捏造的整题记零，取三人整题通过的比例。同一型号按最高推理档位选代表配置，选择不看分数。
AIHOT 怎么用它
计分：法律；与 Vals 复跑的 Harvey LAB 1.1 共用一类评测。固定 10 个对照型号至少测到 6 个，才参与计算。
评测成绩
同一模型测了多个档位时，按固定规则只取一套代表成绩；没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示，名次照搬原榜，每项最多列 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 1 | muse-wonder-fullMeta | 13.1% | Max 推理 |
| 2 | muse-wonderMeta | 10.0% | Max 推理 |
| 3 | grok-4-7xAI | 9.4% | xHigh 推理 |
| 4 | muse-spark-1-3Meta | 8.9% | Max 推理 |
| 5 | gpt-6-astraOpenAI | 8.6% | Max 推理 |
| 6 | gpt-6-1-solOpenAI | 6.9% | Max 推理 |
| 7 | claude-fable-5-1Anthropic | 6.4% | Max 推理 · 含来源回退 |
| 8 | kimi-k3Moonshot AI | 5.3% | Max 推理 |
| 9 | claude-opus-5-5Anthropic | 4.2% | Max 推理 · 含来源回退 |
| 10 | gemini-4-argonGoogle | 3.9% | High 推理 |
| 11 | gpt-6-solOpenAI | 3.6% | Max 推理 |
| 12 | gpt-6-lunaOpenAI | 3.3% | Max 推理 |
| 13 | mistral-large-4Mistral AI | 3.1% | 来源默认配置 |
| 14 | claude-sonnet-5-5Anthropic | 2.8% | Max 推理 · 含来源回退 |
| 16 | deepseek-v4-1-flashDeepSeek | 1.7% | Max 推理 |
| 19 | glm-5-3-flashZ.ai | 0.8% | 来源默认配置 |
| 20 | claude-haiku-5-5Anthropic | 0.6% | Max 推理 |
| 22 | glm-5-3Z.ai | 0.3% | Max 推理 |
| 23 | minimax-m3MiniMax | 0.0% | 来源默认配置 |
| 23 | gemini-3-8-flashGoogle | 0.0% | High 推理 |
| 23 | inkling-smallThinking Machines Lab | 0.0% | 来源默认配置 |
| 23 | inklingThinking Machines Lab | 0.0% | xHigh 推理 |
| 23 | gemini-3-5-flash-liteGoogle | 0.0% | 来源默认配置 |
| 23 | gemini-3-1-pro-previewGoogle | 0.0% | 来源默认配置 |
评测局限与数据署名
整题通过率很低，多数型号落在低分截尾段；能看图的模型可以打开沙箱里的图片文件。 缺测留空；回退成绩计入并标注，受影响题目过半不计。
数据许可：Artificial Analysis 公开页面数据；展示须显著署名并链接来源，遵守其 Terms of Use
成绩由 Artificial Analysis 发布。各项评测的原始分数尺度不同，不能直接相加；AIHOT 按公开规则把它们折算成同一种分数。