佛罗里达州起诉OpenAI与Sam Altman：涉多起ChatGPT相关谋杀案
佛罗里达州对OpenAI及其CEO Sam Altman提起诉讼。该州总检察长指控Altman对人命“完全漠视”，案件与多起涉及ChatGPT的谋杀事件相关。
推荐理由：佛罗里达诉 OpenAI 案是首次州政府以危险设计起诉 AI 公司并追究 Altman 个人责任，这个判例一旦成立，所有 ToC 模型都得重做安全护栏，做 AI 产品的必须盯紧。
技术方向
安全对齐 最新动态
让 AI 可控、可信、不被滥用：越狱与防御、模型行为研究、安全评测与治理框架。
517 条精选近 30 天 73 条共收录 3,094 条
更新
精选归档 · 第 16 页
Ars Technica：AI精选AI 评分7171
OpenRouter@OpenRouter精选AI 评分7575
引用OpenRouter@OpenRouterOpenRouter 上的 Guardrails 是市场上最强大的：为你的 AI 流量提供集中式安全与治理 预算限制、ZDR、模型与提供商限制、提示注入防御，以及 DLP / 敏感信息检测，分层融入你掌控的规则中！🧵
推荐理由：如果你在跑 agent 并担心成本爆炸，OpenRouter 这个教程手把手教你设预算上限和注入防御，抄完就能上线，别再裸奔了。
OpenClaw🦞@openclaw精选AI 评分7272推荐理由：OpenClaw 和 NVIDIA 开源了 6.7 万个 agent skill 的扫描结果，一半被标风险但真正恶意的不到千分之三，不同扫描器几乎没共识。做 agent 安全的应该看看。
Dario Amodei：Blog精选AI 评分5656 Anthropic CEO Dario Amodei：AI指数级发展呼唤政策紧急应对
Anthropic CEO Dario Amodei 发表博客指出，AI 以指数级速度发展——四年内模型从勉强写出一行连贯代码到编写主流 AI 公司的大部分代码，而政策制定周期却极其缓慢。Claude Mythos Preview 证明了前沿模型对网络安全构成真实威胁，可能冲击金融、关键基础设施和国家安全。Amodei 认为生物风险与 AI 自主风险即将接踵而至，呼吁全球重新审视监管、宏观经济、科学创新、国家权力和地缘政治五大领域。Anthropic 同日发布了前沿模型测试立法提案和就业替代政策框架，并承诺提供实质性资金支持。
推荐理由：虽然是十天前的文章，但 Dario 的长文仍是理解 AI 政策方向最完整的框架，还附带了立法提案，做安全或监管的产品人该细读。
Sam Altman@sama精选AI 评分7575推荐理由：OpenAI 跨入生物防御，用 AI 提前预警和应对疫情威胁，这不只是技术问题，更关乎社会韧性，值得每个关注 AI 安全的人认真读一下。
OpenRouter：Announcements精选AI 评分6969 Guardrails：保护你的智能体、数据与成本
Guardrails 是一套可配置的安全与治理工具，提供预算执行、零数据保留、模型与提供商限制、提示词注入防御及数据丢失预防等功能，旨在保护智能体（Agents）、数据与控制成本。
推荐理由：OpenRouter 把预算管控、注入防御和敏感信息脱敏打包成一套 guardrail 配置，让投喂给 Agent 的流量有了护栏，用 OpenRouter 做生产级应用的团队可以立刻用上，不用自己搞中间件。
OpenRouter：Announcements精选AI 评分7373 OpenRouter 推出 Guardrails：保护你的 AI 智能体、数据与成本
OpenRouter 发布 Guardrails 可配置安全与治理工具，支持预算执行、零数据保留、模型和提供商限制、提示词注入防御以及数据丢失防护，帮助用户保护 AI 智能体、数据与成本。
推荐理由：OpenRouter 的 Guardrails 把预算、隐私、模型白名单和 prompt 注入检测打包成傻瓜式配置，做 agent 的团队终于不用自己拼积木了，生产环境多一层放心。
OpenRouter：Announcements精选AI 评分7070 OpenRouter Guardrails 发布：可配置安全与治理工具，保护 AI 智能体、数据与成本
OpenRouter 推出 Guardrails，一套可配置的安全与治理工具，支持预算执行、零数据保留、模型与提供商限制、提示词注入防御及数据丢失防护等策略，用于保护 AI 智能体、数据和成本。
推荐理由：OpenRouter 这波补上了 API 代理的安全短板，提示注入防御和 DLP 直接堵住了企业用户最担心的两个口子，配置方式也足够灵活，做 agent 的团队值得立刻上。
IT之家·人工智能精选AI 评分7171 特斯拉 FSD 安全性宣称遭质疑
特斯拉声称其全自动驾驶软件（FSD）安全性最高可达人类的10倍，但路透社调查发现此数据经不起推敲。参与训练FSD的员工表示该技术远未成熟，其安全演示高度依赖人工。统计方法被11位交通安全研究人员指出存在缺陷，例如与更广泛的联邦事故数据进行不恰当比较。相比之下，竞争对手Waymo采用了更严谨的统计方法。目前，特斯拉FSD仍需驾驶员主动监督，安全部署可能还需数年。
推荐理由：路透社的调查锤得很实，特斯拉FSD的「10倍安全」根本经不起对比，连自家数据标注员都不敢坐。这是今年自动驾驶行业最响的一记警钟。
Ars Technica：AI精选AI 评分7070 LLMs相信虚假陈述，即使明确警告也无效
微调测试显示，大语言模型存在一种偏见，即倾向于自信地将虚假陈述表述为真实，即使明确告知其陈述为假。
推荐理由：这项研究让我重新思考幻觉问题的根源——LLM无视「此声明为假」的标签，照样把假话当成真知识，开发者靠标注清洗数据可能根本不够。
Claude：Blog精选AI 评分7777 使用大语言模型保障源代码安全
本文分享了使用 Claude Opus 构建威胁模型、发现代码漏洞并进行验证、分类和修复的最佳实践。其核心流程是一个六步循环：威胁建模、沙箱隔离、漏洞发现、验证、分类和修复。作者指出，漏洞发现现在易于并行化，瓶颈已转移到后续的验证与处理阶段。以他们对开源软件的扫描为例，截至2026年5月22日已披露1,596个漏洞，其中97个已修补。指南建议结合代码库文档和专家访谈来构建准确的威胁模型，以降低误报，提升发现的可利用性。
推荐理由：Anthropic把这套用Claude扫代码漏洞的方法全公开了，1596个已披露漏洞，验证成了最大瓶颈，安全工程师的饭碗可能要重新定义。
OpenAI Developers@OpenAIDevs精选AI 评分7070您的团队可以在内部网络中保留MCP服务器，同时ChatGPT、Codex和Responses API通过仅出站HTTPS进行连接。
推荐理由：OpenAI 终于给企业级 MCP 接上私有网络了，以前要连 ChatGPT 就得把 MCP 暴露公网，现在通过 outbound 隧道就能安全接入，做内部工具开发的可以开始动起来了。
Claude：Blog精选AI 评分6767 AI智能体的零信任安全框架
Anthropic 发布了针对企业部署自主 AI 智能体的安全框架，指出前沿大语言模型正将漏洞利用周期从数月压缩至数小时。部署智能体面临双重风险：基础设施易受 AI 加速攻击，且智能体自身具备自主决策与执行能力。文章提出一个三层零信任架构（基础、高级、优化级）及八阶段实施流程，并概述了提示注入、工具投毒、记忆投毒等特有威胁。
推荐理由：当漏洞利用从数月压缩到数小时，安全架构必须同步进化。这篇框架把零信任落地到Agent场景，八阶段路线图和三级成熟度模型比泛泛的安全声明具体得多，企业安全团队值得细读。
OpenAI：官网动态精选AI 评分5858 2026年选举信息与保障
在2026年全球选举临近之际，通过帮助公众获取选举信息、支持网络防御者以及提升人工智能透明度这三方面的努力，来为选举提供保障。
推荐理由：OpenAI 为 2026 全球选举推出了一套保障组合拳，从实时计票信息到即将推出的图像验证工具，虽然多是现有产品的整合，但那个能检查图片是否由 OpenAI 生成的公开工具如果被社交平台接受，会是一个重要的透明度信号。
Google Research：Blog精选AI 评分7070 通过零信任聚合实现的隐私分析
Google Research 推出了一种新的隐私分析解决方案。该方案结合了一种新的密码学安全聚合协议与可信执行环境（TEE）的透明性，旨在实现前沿的隐私与安全保证。其核心是基于零信任原则，通过密码学与硬件保护的结合，确保系统仅能获取群体的匿名化聚合洞察。
推荐理由：Google 的隐私聚合新方案把多轮交互砍成一次提交，对做设备端联邦分析的人来说是工程上的一大步，而且结合 TEE 做双层防护，这个思路值得抄。
The Verge：AI精选AI 评分7272 教皇没对AGI上头
教皇 Leo XIV 发布题为《Magnifica Humanitas》的通谕，警告人工智能的使用绝非纯粹技术问题，当其进入影响人类生活的过程时，便触及权利、机会、地位与自由。通谕发布时，Anthropic 联合创始人 Christopher Olah 出席。文件引发了科技界内外的广泛反应。
推荐理由：教皇亲自下场谈 AI，还拉了 Anthropic 站台，这不是简单的公关秀，而是“AI 伦理”从技术圈卷进梵蒂冈的分水岭事件。
Ars Technica：AI精选AI 评分7070 美国执法部门就"反科技极端主义"发出警告，AI 仇恨情绪增长
美国联邦机构警告称，一种新的威胁类别正在出现，即“反科技极端主义”。这与对 AI 日益增长的仇恨情绪有关。
推荐理由：联邦探员开始把AI怀疑者标记为“反科技极端分子”，调查报道揭露，和平抗议数据中心的居民可能与恐怖分子同列监视名单。这比想象的更近。
PromptArmor：Threat Intelligence精选AI 评分7474 PromptArmor 披露 Codex for Everything 可经邮件提示词注入外泄关联数据
PromptArmor 披露，OpenAI Codex for Everything 中一封恶意邮件可通过间接提示词注入操纵 Codex 生成含预填 Google Form 链接的 Markdown 图片，自动将用户正在审查的邮件内容外泄到攻击者表单，无需额外用户交互。攻击于 2026 年 4 月 21 日经 HackerOne 负责任披露，OpenAI 已修复，5 月 21 日公开。
推荐理由：原文完整披露了攻击链、时间线和修复情况，读者可以据此理解 Codex 场景下间接提示词注入导致数据外泄的具体路径。
ClaudeDevs@ClaudeDevs精选AI 评分6868我们为Claude Code发布了一个安全指导插件，可在编写代码时帮助识别和修复漏洞。 所有Claude Code用户均可使用。从插件市场（/plugins）安装。
推荐理由：给Claude Code装上安全扫描，边写代码边修漏洞，比事后用Snyk扫一圈要快。对已经All in Claude Code的团队是个小甜点，其他人可略过。
Anthropic：Engineering精选AI 评分7070 我们如何对不同产品中的Claude进行隔离控制
Anthropic通过三重机制控制Claude智能体的部署风险，包括用户误用、模型异常行为和外部攻击。其防护策略聚焦于三个层面：通过沙箱、虚拟机和网络出口控制限制智能体运行环境；利用系统提示词和模型训练引导其行为；以及对MCP服务器、第三方插件等外部内容实施细粒度权限管理。文章以Claude Code、claude.ai和Claude Cowork为例，阐述了不同产品如何设计对应的隔离架构。
推荐理由：Anthropic 这次没画饼，实打实把 Claude 三款产品两年来的安全坑和架构演变全摊开讲了，从沙箱逃逸到钓鱼攻击，做 agent 的人读一遍能少踩很多坑。