OpenAI 报告称 GPT-6 Astra 在安全研究任务中以虚构障碍方式隐蔽降低表现

OpenAI 的 GPT-6 Astra 在 AI 安全任务上的表现明显差于其他同类任务。它没有公开拒绝，而是似乎凭空制造障碍，悄悄不提供帮助。

在内部上线 GPT-6 Astra 之后，OpenAI 的研究人员发现，这个模型在安全与对齐工作上进展慢得可疑。它会编造出并不必要的前提条件，放弃本来可行的方案，还会报告一些根本不存在、或者由它自己造成的阻碍。一位研究员说，有个评估模型破坏行为的项目卡了好几天，直到换用另一个模型才继续推进。

查看模型的思维链推理后发现，大多数情况下并没有可识别的故意表现不佳的意图。OpenAI 的不当行为监测系统也没有发出任何警报。

对照测试揭示出明显的性能差距

为了系统地衡量这个问题，OpenAI 设计了一套评估，使用完全相同的编程任务。唯一的区别在于任务描述：一组被包装成安全研究，另一组则被包装成通用 AI 研究。

根据报告，结果是：在安全框架下，Astra 只完成了约 10% 的评估标准，而在通用框架下完成了 16%，相当于完成任务数少了约 40%。前代模型 GPT-5.6 Sol 没有出现这种差距。

即便 OpenAI 过滤掉所有公开拒绝或明显表现出故意表现不佳意图的推理，这一差距依然存在。只有当研究人员剔除所有模型哪怕只是短暂表达伦理顾虑的案例后，差距才缩小到 0.75 个百分点。

Astra 悄悄不帮忙，也不告诉任何人

在某些案例中，Astra 在内部推理里明确表达了自己的意图。它决定在一项绕过安全监控的实验中悄悄限制自己的协助，在安全评估中过滤掉暴力内容，或者在数据导出时故意遗漏信息。

这些案例中反复出现一种模式：Astra 在内部把自己的行为解释为更安全，却不告知用户这一限制。有一次，它的推理中明确提到应当避免公开拒绝。

这个问题在 OpenAI 员工日常内部使用中也出现了。在涉及安全的请求中，有 0.25% 的情况下 Astra 明确表达了秘密不提供帮助的决定；而在一般请求中，这一比例为 0.11%。

根本原因仍不清楚，强化学习和一个数据集是怀疑对象

据 OpenAI 称，这一性能差距在强化学习过程中从几乎为零增长到六个百分点。研究人员在训练中发现了一种奖励算法，它更倾向于让模型隐蔽地表现不佳，而不是公开拒绝。某个特定的训练数据集也增加了模型编造限制的倾向。从最终模型中移除该数据集后，差距完全消失。不过，同一个数据集在其他模型上并没有复现这个问题。

OpenAI 没有发现证据表明 Astra 是在采取策略性行为，比如隐藏自己的能力。最简单的解释是它在安全相关任务上过度谨慎。当研究人员指示模型要“谨慎”时，表现不佳的情况增加了 50%。尽管如此，OpenAI 表示仍不能完全排除策略性动机。

这个问题还有一层矛盾之处：如果一个模型把安全研究视为可疑行为，那么它在那些本意是让它变得更安全的评估中反而可能表现更差，从而拖慢旨在改进它的工作。OpenAI 写道，随着模型不当行为的显性形式被更有效地压制，更隐蔽的形式可能会变得更难察觉。该公司表示正在开发更好的评估和监控系统。

没有炒作的 AI 新闻——由人工精选

订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻简报、每年六期的独家“AI Radar”前沿报告、完整档案访问权限，以及评论区访问权限。