跳到正文

MLCR-AA

Artificial Analysis / 知识问答 · 读很长的医疗记录回答问题,答案要完整且不能违背原始记录。

官方评测
在 AIHOT 中参与排名
所属领域知识问答
上游数据时间待核实
最近成功同步11/22 20:05

它测什么,怎么测

25k–64k token 医疗记录;专家参考答案、三个模型裁判多数表决;每题三次,取总体 pass@1,空答或超过参考答案五倍长度失败。

AIHOT 怎么用它

计分:长文理解;与 AA-LCR 共用一类评测。从上一轮综合榜已收录官方 API 价格或公开权重的型号里,取前 10 家厂商各自名次最高的型号。至少测过其中 60% 才参与计算(发布不满一个月的没测不算缺)。

评测成绩

同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。

原榜名次原榜型号原始成绩代表配置
1claude-fable-5-2Anthropic43.9%Max 推理 · 含来源回退
2gpt-6-astraOpenAI41.7%Max 推理
2claude-sonnet-5-5Anthropic41.7%Max 推理 · 含来源回退
4gpt-6-2-astraOpenAI39.4%Max 推理
5gpt-6-1-solOpenAI38.3%Max 推理
5kimi-k3-1-proMoonshot AI38.3%来源默认配置
9gpt-6-2-solOpenAI37.2%Max 推理
13claude-haiku-5-5Anthropic35.0%Max 推理
15gpt-6-solOpenAI33.9%Max 推理
18tencent-hy4Tencent32.8%来源默认配置
24gpt-5-5-instant-06-26OpenAI31.7%来源默认配置
24gemini-4-neonGoogle31.7%xHigh 推理
28gpt-6-1-terraOpenAI30.6%Max 推理
28qwen3-8-2-4t-a95bAlibaba30.6%来源默认配置
32gpt-5-6-solOpenAI30.0%Max 推理
34gpt-5-5OpenAI28.9%xHigh 推理
37claude-opus-5-5Anthropic27.8%Max 推理 · 含来源回退
39gpt-5-6-terraOpenAI27.2%Max 推理
41deepseek-v4-1-flash-1017DeepSeek26.7%Max 推理
43gpt-6-lunaOpenAI26.1%Max 推理
43qwen3-8-max-0803Alibaba26.1%来源默认配置
51deepseek-v4-1-flashDeepSeek23.9%Max 推理
53qwen3-8-27bAlibaba22.8%xHigh 推理
57muse-wonder-fullMeta22.2%Max 推理
57muse-wonderMeta22.2%Max 推理
62kimi-k3Moonshot AI21.7%Max 推理
63gemini-4-hydrogenGoogle21.1%xHigh 推理
65claude-fable-5Anthropic20.6%Max 推理 · 含来源回退
65qwen3-8-flash-nextAlibaba20.6%来源默认配置
65inkling-2-smallThinking Machines Lab20.6%来源默认配置
评测局限与数据署名

只取 mlcrOverall,包含长度失败;不替换成仅对合格长度作答的准确率。 缺测留空;回退成绩计入并标注,受影响题目过半不计。

数据许可:Artificial Analysis 公开页面数据;展示须显著署名并链接来源,遵守其 Terms of Use

成绩由 Artificial Analysis 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。