跳到正文
热点事件持续更新

Cognition发布FrontierCode 2.0编码基准

2 篇报道2 个报道来源1 小时前更新

先了解这件事

AI 综述

Cognition 发布编码基准 FrontierCode 2.0,用于评测智能体在提示不完备时的真实工程能力。据 Cognition 介绍,新版本扩大了任务范围、提高了合并标准,并引入 thoroughness 类评分标准和刻意模糊的欠指定提示词,考察模型能否超越规格要求、在信息不足时作出判断。 任务取自比上一代多 55% 的仓库,参考解决方案平均多改 67% 的文件和 89% 的代码行。Cognition 称该基准远未饱和,目前最高分模型 Opus 5.5 仅得 45.5%。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. Cognition
    Cognition 发布 FrontierCode 2.0 编码基准

    Cognition 推出 FrontierCode 2.0 编码基准,衡量模型能否超越规格要求,任务更多样、范围更大、合并标准更高,并引入刻意模糊的欠指定提示词考察模型判断力。该基准远未饱和,最高分模型仅得 45%。

10月27日
  1. Cognition 模型 / Devin 博客
    Cognition 发布编码基准 FrontierCode 2.0,Opus 5.5 以 45.5% 居首

    Cognition 发布新一代编码基准 FrontierCode 2.0,通过扩大任务范围、提高合并标准和引入 thoroughness 类评分标准,来评测智能体在提示不完备时的真实工程能力。任务取自多 55% 的仓库,参考解决方案平均多改 67% 的文件和 89% 的代码行;Opus 5.5 以 45.5% 得分居首,基准远未饱和。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。