跳到正文
Artificial Analysis 完整文章·· 1 天前精选AI 评分76

Artificial Analysis 评测 GPT-6.1 Terra:以不到三分之一成本推进性价比前沿

GPT-6.1 Terra pushes the cost efficiency frontier

AI 导读

Artificial Analysis 评测 OpenAI 发布的 GPT-6.1 Terra,称其在低中 effort 下达到智能与成本的 Pareto 前沿,价格为 GPT-5.6 Terra 的一半或更低($1/$5 每百万输入/输出 token)。

推荐理由

评测方给出 GPT-6.1 Terra 在智能指数、幻觉率和编码代理基准上的具体得分与成本对比,读者可据此评估其性价比位置。

正文 · AI 翻译

OpenAI 发布了 GPT-6.1 Terra,进一步推进了成本效率前沿。这是自 GPT-5.6 以来的首个 Terra 级模型,智能更高,成本却不到三分之一

每 token 价格是 GPT-5.6 Terra 的一半或更低——输入/输出每百万 token 分别为 $1/$5,而前代模型为 $2/$12。缓存写入也减半,现为每百万 token $1.25。缓存输入为四分之一,每百万 token $0.05,而此前为 $0.20。

关键要点:

➤ 在低和中等 effort 下,智能与成本达到帕累托最优:在最大 effort 下,GPT-6.1 Terra 在 Artificial Analysis Intelligence Index 上比 GPT-5.6 Terra 提升 6 分,而每任务成本不到三分之一($0.40 对 $1.40)。在较低 effort 水平下,提升更大,介于 7 到 13 分之间。低和中等 effort 水平在成本效率上处于帕累托最优,而其他 effort 水平则位于前沿之后。在最大 effort 下,该模型在 Intelligence Index 中比 GPT-6.1 Sol 低 4 分,比 GPT-6 Luna 高 10 分。

➤ 推进 Coding Agent Index 成本效率前沿:在新发布的 Artificial Analysis Coding Agent Index v2.0 中得分为 48,比 GPT-6.1 Sol(54)低 6 分,比 GPT-6 Luna(31)高 17 分。xhigh 和 low effort 设置在 Coding Agent Index 中处于成本效率前沿,而其他 effort 水平则位于前沿之后。

➤ 幻觉率下降 50 个百分点:在我们的私有知识与幻觉基准 AA-Omniscience 中,当 GPT-6.1 Terra 不知道问题答案时,有 38% 的情况会猜测。此前,GPT-5.6 Terra 的幻觉率为 88%。幻觉的大幅降低伴随着 AA-Omniscience 准确率提升 2 分——这意味着该模型同时正确回答了更多问题。

➤ Terminal-Bench 4.0 提升 20 分,大多数评估小幅改善:该模型在基于终端的智能体基准 Terminal-Bench 4.0 中取得显著进展,提升约 20 分,现已在最大 effort 下与 GPT-6.1 Sol 相当。大多数其他评估的提升较小,例如 GDP.pdf 中提升 5 分。

在 Artificial Analysis Coding Agent Index v2.0 中得分为 48,GPT-6.1 Terra 比 GPT-6.1 Sol(54)低 6 分,比 GPT-6 Luna(31)高 17 分。xhigh 和 low effort 设置处于成本效率前沿。

GPT-6.1 Terra 在 AA-Omniscience 中测得的幻觉率下降 50 个百分点。这伴随着 AA-Omniscience 准确率提升 2 分——意味着该模型同时正确回答了更多问题。

该模型在基于终端的智能体基准 Terminal-Bench 4.0 中取得显著进展,提升约 20 分,现已在最大 effort 下与 GPT-6.1 Sol 相当。

Artificial Analysis Intelligence Index v4.3.2 中各单项评估的细分

在此处将 GPT-6.1 Terra 与其他领先模型进行比较:https://artificialanalysis.ai/models/releases/gpt-6-1-terra

来源:Artificial Analysis 完整文章 · artificialanalysis.ai