MLCR-AA
Artificial Analysis / 知识问答 · 读很长的医疗记录回答问题,答案要完整且不能违背原始记录。
在 AIHOT 中参与排名
所属领域知识问答
上游数据时间待核实
最近成功同步11/22 20:05
它测什么,怎么测
25k–64k token 医疗记录;专家参考答案、三个模型裁判多数表决;每题三次,取总体 pass@1,空答或超过参考答案五倍长度失败。
AIHOT 怎么用它
计分:长文理解;与 AA-LCR 共用一类评测。从上一轮综合榜已收录官方 API 价格或公开权重的型号里,取前 10 家厂商各自名次最高的型号。至少测过其中 60% 才参与计算(发布不满一个月的没测不算缺)。
评测成绩
同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 1 | claude-fable-5-2Anthropic | 43.9% | Max 推理 · 含来源回退 |
| 2 | gpt-6-astraOpenAI | 41.7% | Max 推理 |
| 2 | claude-sonnet-5-5Anthropic | 41.7% | Max 推理 · 含来源回退 |
| 4 | gpt-6-2-astraOpenAI | 39.4% | Max 推理 |
| 5 | gpt-6-1-solOpenAI | 38.3% | Max 推理 |
| 5 | kimi-k3-1-proMoonshot AI | 38.3% | 来源默认配置 |
| 9 | gpt-6-2-solOpenAI | 37.2% | Max 推理 |
| 13 | claude-haiku-5-5Anthropic | 35.0% | Max 推理 |
| 15 | gpt-6-solOpenAI | 33.9% | Max 推理 |
| 18 | tencent-hy4Tencent | 32.8% | 来源默认配置 |
| 24 | gpt-5-5-instant-06-26OpenAI | 31.7% | 来源默认配置 |
| 24 | gemini-4-neonGoogle | 31.7% | xHigh 推理 |
| 28 | gpt-6-1-terraOpenAI | 30.6% | Max 推理 |
| 28 | qwen3-8-2-4t-a95bAlibaba | 30.6% | 来源默认配置 |
| 32 | gpt-5-6-solOpenAI | 30.0% | Max 推理 |
| 34 | gpt-5-5OpenAI | 28.9% | xHigh 推理 |
| 37 | claude-opus-5-5Anthropic | 27.8% | Max 推理 · 含来源回退 |
| 39 | gpt-5-6-terraOpenAI | 27.2% | Max 推理 |
| 41 | deepseek-v4-1-flash-1017DeepSeek | 26.7% | Max 推理 |
| 43 | gpt-6-lunaOpenAI | 26.1% | Max 推理 |
| 43 | qwen3-8-max-0803Alibaba | 26.1% | 来源默认配置 |
| 51 | deepseek-v4-1-flashDeepSeek | 23.9% | Max 推理 |
| 53 | qwen3-8-27bAlibaba | 22.8% | xHigh 推理 |
| 57 | muse-wonder-fullMeta | 22.2% | Max 推理 |
| 57 | muse-wonderMeta | 22.2% | Max 推理 |
| 62 | kimi-k3Moonshot AI | 21.7% | Max 推理 |
| 63 | gemini-4-hydrogenGoogle | 21.1% | xHigh 推理 |
| 65 | claude-fable-5Anthropic | 20.6% | Max 推理 · 含来源回退 |
| 65 | qwen3-8-flash-nextAlibaba | 20.6% | 来源默认配置 |
| 65 | inkling-2-smallThinking Machines Lab | 20.6% | 来源默认配置 |
评测局限与数据署名
只取 mlcrOverall,包含长度失败;不替换成仅对合格长度作答的准确率。 缺测留空;回退成绩计入并标注,受影响题目过半不计。
数据许可:Artificial Analysis 公开页面数据;展示须显著署名并链接来源,遵守其 Terms of Use
成绩由 Artificial Analysis 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。