关于AI爆炸式进展的预测，其核心前提是AI智能体能够自动化AI研究本身。然而，关于智能体能否开展开放式AI研究的证据目前还很薄弱。现有的评估要么是在狭窄、可验证的任务上测试智能体，这排除了开放式研究；要么是将AI生成的论文提交给盲审同行评议，而这种方式负担过重、随机性大，且评审质量堪忧。

我们引入了第三种衡量AI研发自动化进展的方法：让一个智能体去攻克一篇高质量未发表论文的核心开放式研究问题，并由该论文的原作者对其产出进行评分。我们称之为“影子评估”。我们对两篇未发表的NeurIPS 2026投稿论文进行了影子评估，给予前沿智能体六天时间和数千美元的计算资源。

智能体在无需人工帮助的情况下完成了所有工程任务，但在解答研究问题方面却未能取得实质性进展。结果，两篇论文均被作者明确拒绝。我们识别出五个反复出现的失败模式：对可发表研究的门槛判断力差、对研究设计缺陷的应对缺乏创造性、从死胡同中无效回溯、资源意识薄弱，以及指令漂移。

使用第二个模型和脚手架进行的稳健性检验复现了这些失败。我们公开了专家评审意见、调查回复、智能体代码库和日志。我们的结果提供了早期证据，表明当今的智能体能够完成AI研究的工程部分，但在研究生命周期的关键环节上仍存在困难。