Cognition发布FrontierCode 2.0编码基准
热点事件持续更新
Cognition发布FrontierCode 2.0编码基准
2 篇报道2 个报道来源1 小时前更新
先了解这件事
AI 综述
Cognition 发布编码基准 FrontierCode 2.0,用于评测智能体在提示不完备时的真实工程能力。据 Cognition 介绍,新版本扩大了任务范围、提高了合并标准,并引入 thoroughness 类评分标准和刻意模糊的欠指定提示词,考察模型能否超越规格要求、在信息不足时作出判断。 任务取自比上一代多 55% 的仓库,参考解决方案平均多改 67% 的文件和 89% 的代码行。Cognition 称该基准远未饱和,目前最高分模型 Opus 5.5 仅得 45.5%。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 01:24
Cognition 发布 FrontierCode 2.0 编码基准报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- CognitionCognition 发布 FrontierCode 2.0 编码基准
Cognition 推出 FrontierCode 2.0 编码基准,衡量模型能否超越规格要求,任务更多样、范围更大、合并标准更高,并引入刻意模糊的欠指定提示词考察模型判断力。该基准远未饱和,最高分模型仅得 45%。
10月27日
- Cognition 模型 / Devin 博客Cognition 发布编码基准 FrontierCode 2.0,Opus 5.5 以 45.5% 居首
Cognition 发布新一代编码基准 FrontierCode 2.0,通过扩大任务范围、提高合并标准和引入 thoroughness 类评分标准,来评测智能体在提示不完备时的真实工程能力。任务取自多 55% 的仓库,参考解决方案平均多改 67% 的文件和 89% 的代码行;Opus 5.5 以 45.5% 得分居首,基准远未饱和。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。