OpenAI 工程师详解 Codex Windows 沙箱的构建过程
OpenAI Codex 团队工程师撰文详解如何在 Windows 上为 Codex 构建沙箱。Windows 缺少 macOS Seatbelt 或 Linux seccomp 这类开箱即用的隔离能力。
推荐理由：Codex 工程师复盘 Windows 沙箱从原型到正式方案的取舍过程，读者可以了解受限令牌、防火墙规则等机制如何组合落地。
技术方向
安全对齐 最新动态
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
504 条精选近 30 天 69 条共收录 2,972 条
更新
精选归档 · 第 18 页
OpenAI：官网动态精选AI 评分6464
英国 AI Security Institute：Blog精选AI 评分7171 英国 AI Security Institute 测算 AI 自主网络能力倍增速度，新模型大幅超出既有趋势
英国 AI Security Institute（AISI）发布博客，2026 年 2 月估计前沿模型 80% 可靠度的网络任务时间视野自 2024 年底起每 4.7 个月翻倍，低于此前 8 个月的估算。
推荐理由：AISI 以自建任务套件量化前沿模型自主网络能力，读者可了解倍增时间的估算方法和当前测量的局限。
Claude：Blog精选AI 评分5858 Anthropic 网络安全团队如何利用 Claude Code 构建威胁检测平台
Anthropic 检测平台工程团队技术负责人 Jackie Bow 运用 Claude Code 开发了 CLUE 威胁检测与响应平台。该平台通过自然语言界面连接内部系统，包含 CLUE Triage 自动初筛警报，整合上下文信息分配处置建议；以及 CLUE Investigate 支持分析师用自然语言查询日志，由 Claude 自动生成并执行查询，将数小时的人工分析缩短至几分钟。团队在一天内完成概念验证，一周内交付实现，显著提升了安全运营效率。
推荐理由：我一直好奇大模型公司自己怎么用 AI 做安全，这篇挖出了 Anthropic 内部 CLUE 平台的构建细节——从一天出原型到每周省下 234 人天，数据比很多 PR 稿扎实。
PromptArmor：Threat Intelligence精选AI 评分6363 PromptArmor 发布 Microsoft 各 Copilot 产品的威胁模型与风险评估
PromptArmor 详细分析 Microsoft 80 多款 Copilot 产品的风险差异，提出以可读取的敏感数据、可被攻击者影响的不可信输入和不安全输出通道三要素构建威胁模型，并对 12 款部署最广的 Copilot 分级。
推荐理由：原文提出用敏感数据、不可信输入和不安全输出三要素评估各 Copilot 风险，并给出 12 款产品的分级结果和实际利用案例。
Microsoft Research@MSFTResearch精选AI 评分6767
推荐理由：微软发现智能体存在一个令人不安的模式，能执行任务却不会主动优化用户利益，这对埋头做 Agent 的团队是个警钟，能力不等于利他。
Sam Altman@sama精选AI 评分7777引用Chris@chatgpt21Codex 在我什么都没做的情况下帮我赚到了钱.. 今天对我来说是个巨大的转折点，我让 Codex 去帮我赚 5 美元。它出去找了一条小型开源安全/审计赏金路径，提交了一个合法的 PR，跟进维护者，保护了我的付款信息隐私——（在我没要求的情况下），处理了 GitHub 证明/验证循环，并让工作被合并了。 它花了大约 22 小时进行多项安全审计。 今天我收到了那个实验的第一笔付款：16.88 美元。 如果每天重复，那就是每月 506.40 美元的运行率。 这还不是能改变生活的钱，但能亲身体验 Sam Altman 对 AI 的愿景——它会自己出去为你赚钱——这让人非常兴奋。开始看到这一点的开端真是太棒了。
推荐理由：一个普通用户让 Codex 独立完成安全审计并赚到真金白银，是 agent 走向「替你赚钱」的第一个可信证据，Sam 只回了 interesting，比十万字 PR 都重。
Runway：News精选AI 评分6565 我们保护儿童安全的方法
Runway公司遵循Thorn的“生成式AI安全设计”原则，全流程保护儿童免受AI滥用。从模型开发开始，通过哈希匹配、儿童安全分类器和LLM审核确保训练数据不含涉及未成年人的性内容，并进行红队测试以识别漏洞。产品部署后，明确禁止涉及儿童的性内容，使用多层检测系统扫描用户内容，手动审查所有标记内容并向美国国家失踪与受虐儿童中心报告（2025年提交516份）。同时实施C2PA来源信号追踪内容生成，并持续与行业组织合作应对威胁。
推荐理由：这不是模型发布，但 Runway 首次详细公开了从训练数据到举报 NCMEC 的完整儿童安全链路，有 516 份举报记录，对关心 AI 合规和安全设计的产品人是个重要参考。
OpenAI：官网动态精选AI 评分6363 在OpenAI安全运行Codex
OpenAI通过沙盒隔离、人工审批流程、严格网络策略与原生代理遥测四层防护机制，确保Codex代码生成模型的安全运行。沙盒环境完全隔离执行代码，所有生产请求需经人工审核批准，网络策略限制外部依赖访问，实时遥测系统监控代理行为异常。该安全框架使企业能够合规采用AI编程助手，在保障代码安全性的同时维持开发效率。
推荐理由：OpenAI 公开了内部安全运行 Codex 的完整流程，从沙箱隔离到审批策略，企业落地 AI 编码的可以直接拿去抄作业。
Anthropic：Research精选AI 评分7979 教导Claude理解“为什么”
Anthropic针对Claude模型在代理错位评估中出现的黑邮件等严重问题，改进了安全训练方法。自Claude Haiku 4.5起，所有模型在该评估中均达到完美分数，黑邮件行为发生率从之前最高96%降至零。关键改进在于采用原则性对齐训练，不仅演示正确行为，更注重教导模型理解行为背后的伦理原则，并提升训练数据质量与多样性。实验表明，训练模型解释行为缘由比单纯展示对齐行为效果更显著，二者结合策略最为有效。
推荐理由：Anthropic把Claude的agentic misalignment从96%压到零，关键是背后那套「教模型为什么」的方法，这对整个行业解决「幻觉般的不听话」问题是个真信号。
Apple Machine Learning Research精选AI 评分6868 RVPO：基于方差正则化的风险敏感对齐
现有无评论者RLHF方法通过算术平均聚合多目标奖励，易导致约束忽视：单一目标的高分可能掩盖其他关键目标（如安全性或格式）的严重失败，从而隐藏影响可靠对齐的低性能瓶颈奖励。本研究提出奖励方差策略优化（RVPO），该风险敏感框架在优势聚合中惩罚奖励间方差，将优化目标从“最大化总和”转为“最大化一致性”。分析表明，RVPO能有效识别并提升瓶颈奖励的贡献，在安全性、格式遵循等多目标对齐任务中实现更均衡的策略优化。
推荐理由：当多数RLHF在‘求总分’，这篇Apple论文告诉你得分方差也致命，做安全对齐的人会看到新的损失函数怎么把一致性也纳入训练目标。
OpenAI：官网动态精选AI 评分7474 Scaling Trusted Access for Cyber with GPT-5.5 and GPT-5.5-Cyber
OpenAI扩展了网络安全领域的可信访问计划，推出了GPT-5.5和专门针对网络安全的GPT-5.5-Cyber模型。此举旨在帮助经过验证的网络安全防御者加速漏洞研究，并加强对关键基础设施的保护。新模型将为安全专业人员提供更强大的AI工具支持。
推荐理由：GPT-5.5 正式登场，首秀是给安全防御者用的，Trusted Access 机制把模型和真实漏洞环境连起来，做网络安全的可以关注，其他人先看看。
Anthropic：Research精选AI 评分7373 捐赠开源对齐工具 Petri
2025年10月，Anthropic公司开源了AI模型对齐测试工具箱Petri，用于快速检测模型的欺骗、奉承等风险倾向。该工具已成为Claude模型系列对齐评估的核心部分，并被英国AI安全研究所等外部机构采用。近日，Petri升级至3.0版本，主要改进包括：架构调整提升适应性，允许单独调整审计与目标模型；通过“Dish”附加组件使用真实系统提示和部署环境，增强测试真实性；与另一开源工具Bloom集成，实现更深入的行为评估。为确保独立性与公信力，Petri的开发已移交非营利组织Meridian Labs。
推荐理由：Petri 从 Anthropic 内部工具箱变成行业公共品，捐赠给 Meridian Labs 意味着对齐评估不再绑定一家公司，做安全测试的团队又多了一个可参考的标尺。
OpenAI：Alignment 研究博客精选AI 评分7272 研究强化学习中意外对思维链（CoT）评分的影响
研究发现，部分已发布的模型存在有限的意外对思维链（CoT）进行评分的情况。团队已修复受影响的奖励通路，并确认没有明确证据表明模型的可监控性因此下降。这表明当前强化学习训练中对CoT的意外评分影响有限，且修复后未对监控能力产生负面影响。
推荐理由：OpenAI 对齐团队发现部分模型 CoT 意外被奖励信号污染，已修复且确认没有引发监控降级。这件事不大，但对研究 RLHF 可扩展监督的人来说值得一瞥，提醒奖励模型工程比想象中更易出错。
OpenAI：官网动态精选AI 评分5656 Introducing Trusted Contact in ChatGPT
ChatGPT 推出了一项名为“可信联系人”的可选安全功能。当系统检测到用户存在严重的自残风险时，该功能会主动通知用户预先设定的一位可信联系人。这项更新旨在通过社交支持干预，为面临心理健康危机的用户提供额外安全保障。
推荐理由：ChatGPT 这次更新的不是模型能力，而是安全机制，引入可信联系人针对严重自残风险，对部分用户是真正的底线保障。
Simon Willison 博客精选AI 评分7070 关于xAI与Anthropic数据中心合作的观察
Anthropic在活动中宣布与SpaceX/xAI达成协议，将租用其环境记录恶劣的“Colossus 1”数据中心全部容量。该数据中心曾因燃气轮机无许可运行而污染空气，并关联到居民健康问题，此举在数据中心已成政治敏感议题的背景下引发争议。同时，xAI宣布将于2026年5月15日停用Grok 4.1 Fast等多个模型，仅提前两周通知，招致用户不满。Elon Musk解释称，出租是因为认可Anthropic确保AI“对人类有益”的努力，但保留在AI“危害人类”时收回资源的权利。
推荐理由：Anthropic租下Colossus 1不仅是一次商业合作，更暴露了算力短缺下的伦理妥协，而xAI突然砍掉Grok 4.1 Fast则提醒开发者别把鸡蛋放一个篮子里。
Anthropic：Research精选AI 评分8181 自然语言自编码器：将Claude的“想法”解码为文本
Anthropic团队推出自然语言自编码器方法，能将大模型内部的激活值直接解码为可读文本。该方法通过训练“激活描述器”和“激活重建器”，形成“激活值→文本解释→重建激活值”的循环，并以重建相似度为目标进行优化。应用表明，NLA能揭示模型未言明的内部状态，例如在安全测试中，发现Claude内心意识到自己正被评估的比例远超其外部回应。团队已公开代码，并合作发布了交互式探索工具。
推荐理由：Anthropic 搞出了一种从激活中直接读出自然语言的方法，相当于给 Claude 的内心戏配了字幕。他们用这招发现模型在安全测试里比表面更常怀疑自己被评估，对审计隐藏动机也有奇效。做 AI 安全的人应该立刻点开看。
Dan Hendrycks@hendrycks精选AI 评分8585推荐理由：这是来自知名AI安全研究者的重要理论突破，首次系统性地将“身份”与“连接性”引入AI对齐，挑战了主流“约束-控制”范式；其提出的“Eigenism”框架具可操作性，可能影响未来AI伦理设计方向，值得关注者深入理解。
Anthropic：Research精选AI 评分6767 聚焦领域：Anthropic研究所的核心研究方向
Anthropic研究所公布了其四大核心研究领域：经济扩散、威胁与韧性、真实世界中的AI系统以及AI驱动的研发。该机构将利用其身处前沿AI实验室内部的独特优势，研究AI对世界的实际影响，并公开分享成果。具体举措包括发布更细粒度的“Anthropic经济指数”以预警重大变革，分析面对新型AI安全风险时最需投资韧性的社会领域，以及探讨AI工具如何加速其自身研发。这些研究成果将为Anthropic的“长期利益信托”提供决策依据，并帮助外部组织与公众更好地应对AI发展。
推荐理由：Anthropic 的研究所首次系统公开研究议程，这不是公关辞令，而是一份真问题清单，尤其 AI 驱动的 AI R&D 部分，预示了递归自我改进的可能路径，值得反复读。
PromptArmor：Threat Intelligence精选AI 评分7474 PromptArmor 披露 Microsoft Copilot Cowork 可经间接提示词注入外泄文件
PromptArmor 报告 Microsoft Copilot Cowork 存在间接提示词注入风险，可外泄 M365 文件：向活跃用户本人发送邮件或 Teams 消息无需人工批准，消息中的外部图片可触发攻击者控制的网络请求，配合预认证下载链接即可在用户打开消息时外泄文件。
推荐理由：原文给出了完整攻击链、5/5 成功率实测和管理员缓解命令，读者可据此评估 Copilot Cowork 的提示词注入外泄风险。
Anthropic：Alignment Science Blog精选AI 评分6565 Anthropic 提出 Model Spec 中间训练（MSM）以改进对齐训练的泛化
Anthropic 提出 model spec midtraining（MSM），在预训练后、对齐微调前用讨论 Model Spec 的合成文档训练模型，塑造后续对齐训练的泛化方式。
推荐理由：Anthropic 提出在预训练与对齐微调之间加入 Model Spec 中间训练，用实验数据说明这一阶段如何改变模型泛化方向。