NVIDIA论文：以首个通过测试的编辑评估基础模型
热点事件持续更新
NVIDIA论文：以首个通过测试的编辑评估基础模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
NVIDIA 发表论文，提出一种评估基础模型智能体后训练潜力的方法：不再对智能体运行的每一步打分，而是只在首个让测试通过的决定性编辑处评估 base 模型。 方法为回放成功智能体轨迹，在每次编辑后重跑测试，检查 base 模型是否会写出该编辑、能否在失败编辑中选中它并写出可通过的实现。据该论文，模型写出该编辑的概率排序与十个模型后训练后的 SWE-bench Verified 得分相关性达 0.964，且只需基准的成功轨迹和测试即可运行。 论文称，逐步打分的效果不如只在首个通过测试的编辑处打分。
AI 根据报道生成 · 1 小时前更新
最新进展10月12日 23:39
NVIDIA 论文提出在首个让测试通过的编辑处评估 base 模型，预测编码智能体后训练表现报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- Rohan PaulNVIDIA 论文提出在首个让测试通过的编辑处评估 base 模型，预测编码智能体后训练表现
NVIDIA 论文提出，相比逐步打分，只在首个让测试通过的决定性编辑处评估 base 模型更能预测其智能体后训练潜力。方法回放成功智能体轨迹并在每次编辑后重跑测试，检查 base 模型是否会写出该编辑、在失败编辑中选中它并写出可通过的实现。模型写出该编辑的概率排序与十个模型后训练后的 SWE-bench Verified 得分相关性达 0.964，且只需基准的成功轨迹和测试即可运行。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。