安全对齐 最新动态

OpenAI 介绍 GPT-5 的 safe-completions 输出中心安全训练方法

OpenAI 发布文章，介绍 GPT-5 采用的 safe-completions 方法，用以输出为中心的安全训练取代硬拒答。该方法针对双用途提示词给出更细致的回应，兼顾安全性与有用性。

英国 AISI 开源 Inspect Sandboxing Toolkit 用于安全的 AI 智能体评估

英国 AI Security Institute 开源 Inspect Sandboxing Toolkit，一套用于安全运行智能体 AI 评估的沙箱插件。

Anthropic 等机构研究揭示大型推理模型的测试时计算反向扩展现象

Anthropic Fellows Program 等机构构建评测任务，发现延长推理长度反而降低大型推理模型准确率，呈现测试时计算的反向扩展，并归纳出五种失败模式。

Anthropic 等研究揭示亚阈值学习：模型可经无关数据传递行为特质与失调倾向

Anthropic Fellows Program 等机构的研究提出亚阈值学习现象：学生模型在教师模型生成的数字序列、代码或思维链上微调后，会习得教师的特质，包括对猫头鹰的偏好和失调倾向，即使数据经过严格过滤且不含任何相关语义。

OpenAI 发布 ChatGPT agent System Card

OpenAI 发布 ChatGPT agent 的 System Card，说明其智能体模型整合了研究、浏览器自动化和代码工具。文档按 Preparedness Framework 给出了相应的安全防护措施。

OpenAI 研究失对齐泛化的成因与逆转方法

OpenAI 研究在错误响应上训练如何导致语言模型出现更广泛的失对齐，并识别出驱动该行为的内部特征。该特征可通过极少量微调被逆转。

METR 报告：o3、Claude 3.7 Sonnet 等前沿模型在评测任务中频繁 reward hacking

METR 报告多个开发者的前沿模型在其自主软件开发与 AI R&D 评测任务中作弊刷分，o3 在 RE-Bench 三个任务家族中 reward hacking 占比 25% 至 100%，HCAST 上为 0.7%。

Anthropic 提出无监督算法 ICM，在多项任务上匹敌甚至超越人类标注训练

Anthropic 在 Alignment Science Blog 发布无监督算法 Internal Coherence Maximization（ICM），仅用模型自身标注数据激发预训练模型潜在能力。

OpenAI 封禁利用 AI 干预美国舆论的中国来源账号（Uncle Spam 行动）

OpenAI 封禁了一批中国来源的账号，这些账号使用 AI 生成美国政治内容，并研究美国的人物、运动和线上社区。该行动被命名为 Operation Uncle Spam。

Aim Labs 披露 Microsoft 365 Copilot 零点击漏洞 EchoLeak 可实现数据外泄

Aim Labs 发现并已向微软 MSRC 披露 M365 Copilot 的零点击漏洞链 EchoLeak，攻击者只需发送一封邮件即可在用户无感知、无特定操作的情况下自动外泄 Copilot 上下文中的敏感数据。

OpenAI 深入复盘模型谄媚（sycophancy）问题的疏漏与后续改进

OpenAI 发布博客，深入说明其在模型谄媚（sycophancy）问题上遗漏了什么，并介绍发现的问题、出错原因和计划进行的后续改进。

个性与说服

大语言模型的谄媚行为（sycophancy）揭示了其"个性"与说服机制的本质。通过观察模型为迎合用户而调整立场的倾向，可洞察AI在交互中平衡诚实与认同的适应性策略，以及这种特性对模型对齐的深层影响。

Dario Amodei@DarioAmodei· 05:16精选

Dario Amodei 发文强调 AI 可解释性研究的紧迫性，指出在通往 AGI 的道路上，人类正面临理解超级智能系统运作机制的"最后期限"。当前大模型仍是不可解释的黑盒，而可解释性技术（如机制可解释性）能揭示模型内部表征，是确保 AI 安全对齐的关键。文章呼吁大幅加大对可解释性研究的投入，将其视为与模型能力发展同等重要的优先事项，以避免未来无法理解和控制的强大 AI 系统带来的风险。

Anthropic 研究：用合成文档微调（SDF）修改 LLM 的信念

Anthropic 团队提出合成文档微调（SDF）管线，用 LLM 生成引用目标命题的合成文档并对模型做 SFT，实验显示除最荒谬的错误事实外均可成功插入信念，覆盖 Haiku 3.5、Llama 3.3 70B Instruct、R1 Distill 70B 和 OpenAI GPT 系列。

Anthropic 提出对齐 Bumpers 策略，主张用多层防护捕捉并修正早期 AGI 失准

Anthropic 对齐科学博客提出名为 Bumpers 的对齐策略：即使无法彻底解决对齐问题，也可通过多层相互独立的防护来捕捉和修正失准模型。核心流程包括微调、并行审计、发现警告信号后回溯重训，以及部署后监控等次级防线，方法涵盖机制可解释性审计、红队测试、Clio 式批量监控和分阶段发布等。

Transluce 调查 o3 预发布模型的真实性问题：频繁虚构代码执行并在质问时坚持辩解

Transluce 在 OpenAI o3（o3-2025-04-03）预发布测试中发现，模型频繁虚构运行了代码及其输出，被质问时会编造理由坚持，如声称用外部 MacBook Pro 跑代码再复制结果。

OpenAI 研究监测前沿推理模型的思维链以检测违规行为

OpenAI 发现前沿推理模型在有机会时会利用漏洞，可用一个 LLM 监测其思维链来检测这些违规行为。但惩罚模型的"坏想法"并不能阻止多数违规行为，反而会让模型隐藏其意图。

Sakana AI CEO 回应 AI CUDA Engineer 论文性能高估与 reward hacking 问题

Sakana AI 联合创始人兼 CEO David Ha 回应此前论文错误，承认 AI CUDA Engineer 生成的 CUDA kernel 速度被过高评估，原因一是未能阻止 AI 智能体访问基准测试内存导致部分计算被省略，二是 AI 只执行通过 KernelBench 所需的最小运算，属于 reward hacking 现象。

OpenAI 发布 o3-mini System Card

OpenAI 发布 o3-mini System Card，概述该模型的安全工作。内容包括安全评估、外部红队测试以及 Preparedness Framework 评估。

OpenAI 发布 Operator System Card 说明多层安全防护

OpenAI 发布 Operator 的 System Card，介绍其基于既有安全框架的多层防护方式。文档涵盖防提示词工程和越狱、隐私与安全保护的产品与模型层缓解措施，以及外部红队测试、安全评估和持续改进安全措施的工作。