跳到正文

排序怎么算

了解 AIHOT 评分怎么算，以及每个分数背后的第三方成绩。

EVIDENCE BEFORE CONCLUSIONS

把每项评测当成一把尺子。

不同评测的分数单位不同、难度不同，不能直接相加。AIHOT 先给每项评测定出难度，再把每个成绩换算成同一条刻度上的能力读数：难的评测和容易的评测说同一种单位，没测的项不补分也不扣分。

评分以参照组模型的平均水平为 50 分，每 15 分约是一个标准差，不是答题正确率。综合榜与四个分类榜最多展示 30 个模型。

  1. 01

    只用第三方统一跑的成绩

    评测机构给每个模型用同一套流程自己跑出来的成绩才计分。厂商自报、厂商专用 Agent、拿别人成绩拼成的综合指数都不计分。同一型号按预先定好的推理档位选代表配置，不挑最高分。

  2. 02

    给每项评测定一把尺

    一项评测有难度和陡峭程度两个数，由测过它的模型共同定出；不到 20 个模型测过的评测，尺子定不准，先不计分。难的评测在高分段说话算数，刷满的评测自动变得不重要。

  3. 03

    把成绩读成同一刻度上的能力

    每个成绩顺着它的尺子倒推，变成同一条刻度上的读数，不同评测因此能放在一起比。通过率高于 95% 只算“至少这么强”，低于 5% 只算“至多这么强”。同类评测只算一票；和其他读数差得太远的那个，拉力封顶。

  4. 04

    分领域，再加权

    每个领域的分数是这个领域读数的平均，再向模型的整体水平收一点；还没人测的领域按整体水平看，不补分也不扣分。综合评分按下面的权重把各领域加起来。

WEIGHTED BY DOMAIN

五个领域，编程最重。

权重是公开的选择，不是天然的能力比例。同一类任务的评测（两家机构复跑同一套题、两项同类的职业交付评测）合起来只算一票；视觉、写作、多语言目前不计分。

名次只给证据够宽的模型：至少两家评测机构的成绩，编程至少 3 类评测，科研、专业办公、知识问答各至少 2 类。其余有分数的模型列在“暂不排名”。发布超过 18 个月的型号退出当前榜单，已有详情页保留。

你可能还想知道

新增评测需要覆盖多少模型？
本轮新增的八项评测，固定对照 Claude Opus 5.5、Claude Sonnet 5.5、Gemini 4 Argon、GPT-6 Astra、GPT-6.1 Sol、Kimi K3、DeepSeek V4.1 Flash、GLM 5.3、MiMo V2.6 Pro、MiniMax-M3 十个型号。按同版本、统一流程和代表配置，至少六个有成绩才计分；低于 60% 就暂停，补齐再恢复。缺测留空，真实零分仍算测过。各领域权重不因新增评测改变。
AIHOT 评分怎么看？
50 分是参照组模型的平均水平，每 15 分约是一个标准差。它不是正确率，也不是胜率；分数越高，说明在这些第三方评测里整体越强。分类评分和综合评分在同一条刻度上。
为什么难的评测考得一般，读数反而高？
读数看的是“在这项评测上考成这样，需要多强的能力”。难题上的 30% 可能比简单题上的 90% 更能说明问题；快被刷满的评测，再高的分也读不出更多。
差多少分才算真的有差距？
随机换一套评测组合重算，相差 3 分以上的两个模型，先后几乎不会变；相差不到 1 分的，接近抛硬币。看名次时请连同分数一起看。
为什么有的模型只有分数、没有名次？
给名次需要足够宽的证据：至少两家评测机构的成绩，编程至少 3 类评测，科研、专业办公、知识问答各至少 2 类。只有一家机构测过、或者某个领域还太少的模型，一个坏成绩就可能带偏名次，所以先列在“暂不排名”，补齐后自动给名次。
厂商自己公布的成绩为什么不用？
厂商自己跑、自己报的成绩没法核对运行条件，也可能专门为榜单优化。本榜只用第三方给所有模型统一跑的成绩。
“回退”是怎么回事？
评测时，厂商的接口有时把一部分请求转给了自家更早的型号。替补都更弱，这样的成绩只会偏低、不会偏高，所以照常计入，并在模型页标注；评测方公布受影响题目超过一半的，不计。
新模型什么时候会出现？
每天检查四次上游。第一家机构出成绩后就能看到分数；第二家机构出成绩、评测够宽后给名次。网页刷新、价格更新或抓取时间都不算重新评测。
某家评测暂时打不开，或者跟不上新模型，会怎样？
暂时打不开时，最近七天内核验过的同版本成绩继续使用；整轮计算失败时保留上一轮有效榜及原时间。一项评测在当月主要模型发布一个月后还有一半以上没测，或者连续 30 天没加新模型，就暂停计分，补上再恢复。
价格或速度会影响名次吗？
都不会。价格只供你了解 API 的使用成本，统一按每百万 Token 展示，并保留厂商官方来源。它不代表订阅费用。
查看计算细节与当前版本

方法版本：2026.10-capability-scale-v19。做法属于项目反应理论（IRT）一类：每项通过率评测是一把 logistic 尺，能力为 z 的模型通过率 = σ(A·z − e)，A 是陡峭程度、e 是难度；等级分类评测（Elo）是一把直尺，等级分 = c + s·z，它的刻度按同一批模型在其他领域的水平对齐，不能自定尺度。

成绩倒推成读数 x = (logit(通过率) + e) / A。高于 95% 或低于 5% 的通过率按截尾读数处理：只说明“至少”或“至多”，模型的水平越过这条线越远，它的作用越小。一个读数的噪声按标准差 0.33 计；偏离超过两倍噪声的读数，拉力封顶，一个坏成绩或被刷高的评测带偏不了总分。

模型在某个领域的能力 = 整体水平 g + 该领域的偏离 δ，δ 的先验标准差为 0.25（按“遮住一部分成绩再预测”选出）；没测的领域 δ = 0。尺子和能力交替拟合直到收敛，参加定尺的模型至少要有 4 类评测的成绩，一项评测至少要有 20 个这样的模型。综合 = 各领域能力按权重相加，显示分 = 50 + 15·z。

刻度锚定在参照组上：方法定稿时近 18 个月、两家以上机构测过、证据够列出的 92 个模型，它们的水平冻结保存。以后每一轮都让参照组模型保持冻结时的平均值和离散程度，所以新增模型、新增或停用评测，都不会让分数整体漂移，评分可以跨轮比较。

这套方法上线前用真实数据检验过：遮住部分成绩再预测，误差明显小于“各项换成标准分再平均”；同系列新一代排在上一代后面的情况更少；去掉某一家机构的全部成绩重算，和这家机构自己的综合指数仍高度一致；在已知真值的合成数据上，成绩少的模型和成绩多的模型没有系统偏差。

查看每一份评测证据 →