跳到正文

AA-Analyst Agent

Artificial Analysis / 专业办公 · 分析数据、回答 14 个领域的专业问题,同一题跑五次都对才算通过。

官方评测
在 AIHOT 中参与排名
所属领域专业办公
上游数据时间待核实
最近成功同步11/22 20:05

它测什么,怎么测

80 个私有问题、14 个领域,统一 Stirrup 工具环境;每题独立运行五次,五次全部成功才通过(pass^5)。

AIHOT 怎么用它

计分:数据分析;与 LiveBench Data Analysis 共用一类评测。从上一轮综合榜已收录官方 API 价格或公开权重的型号里,取前 10 家厂商各自名次最高的型号。至少测过其中 60% 才参与计算(发布不满一个月的没测不算缺)。

评测成绩

同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。

原榜名次原榜型号原始成绩代表配置
1gpt-6-2-astraOpenAI62.5%Max 推理
4gemini-3-7-flashGoogle60.0%High 推理
5claude-sonnet-5-5Anthropic57.5%Max 推理 · 含来源回退
5claude-fable-5-1Anthropic57.5%Max 推理 · 含来源回退
7claude-opus-5-5Anthropic56.3%Max 推理 · 含来源回退
10claude-haiku-5-5Anthropic53.8%Max 推理
10gpt-6-2-solOpenAI53.8%Max 推理
10claude-opus-5Anthropic53.8%Max 推理
14grok-4-7xAI52.5%xHigh 推理
17inkling-2-smallThinking Machines Lab51.2%来源默认配置
17gpt-6-astraOpenAI51.2%Max 推理
19gpt-5-5OpenAI50.0%xHigh 推理
19gpt-6-1-solOpenAI50.0%Max 推理
22claude-fable-5Anthropic48.8%Max 推理 · 含来源回退
22gemini-4-argonGoogle48.8%High 推理
24gpt-5-6-solOpenAI47.5%Max 推理
25gemini-3-8-flashGoogle46.3%High 推理
25qwen4-maxAlibaba46.3%来源默认配置
25inkling-2-miniThinking Machines Lab46.3%来源默认配置
25claude-sonnet-5Anthropic46.3%Max 推理
29gemini-3-5-flashGoogle45.0%High 推理
29qwen3-8-maxAlibaba45.0%来源默认配置
29claude-opus-4-8Anthropic45.0%Max 推理
32gpt-6-lunaOpenAI43.8%Max 推理
32claude-opus-4-7Anthropic43.8%Max 推理
34grok-4-6xAI41.3%High 推理
34gemini-3-1-pro-previewGoogle41.3%来源默认配置
36glm-5-3Z.ai38.8%Max 推理
36kimi-k3Moonshot AI38.8%Max 推理
36kimi-k3-1-proMoonshot AI38.8%来源默认配置
评测局限与数据署名

pass^5 不是五次至少成功一次的 pass@5。 缺测留空;回退成绩计入并标注,受影响题目过半不计。

数据许可:Artificial Analysis 公开页面数据;展示须显著署名并链接来源,遵守其 Terms of Use

成绩由 Artificial Analysis 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。