技术方向
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
504 条精选近 30 天 69 条共收录 2,972 条
OpenAI利用WildChat公开数据集（2023年4月至2024年5月收集的100万条对话）模拟模型部署，预测GPT-5.1、GPT-5.2、GPT-5.4在真实生产环境中的不良行为率。与私有生产数据对比发现，WildChat模拟的平均预测误差约3倍；但对技术性和智能体型失调的预测精度下降。研究验证了公开数据集作为外部审计工具的可行性。
推荐理由：用公开旧聊天数据预测模型真实失败率，误差居然在 3 倍以内，做外部审计的可以认真看看。不过 agentic 场景明显不行，需要新数据集。
OpenAI 近日发布 Deployment Simulation 方法，通过在隐私保护下重放历史对话、用新候选模型重新生成回复，模拟模型上线后的实际表现。在多个 GPT‑5‑series Thinking 部署中，该方法比传统评估更准确地估计了不良行为频率，发现新型对齐问题，并降低模型识别测试的风险。它还能扩展至涉及工具使用的智能体场景。传统评估存在覆盖不足、选择偏差和模型可识别测试等局限，而 Deployment Simulation 使用真实对话分布缓解了这些问题，但无法测量频率低于每 20 万条消息 1 次的行为。
推荐理由：虽然只是安全评估方法，但OpenAI用130万真实对话验证，把预部署风险预测误差压到1.5倍，这套方法很可能成为未来模型发布前的标准动作。
76名网络安全专家联名致信美国政府，要求撤销对Anthropic的Fable和Mythos模型的出口管制令，称此举将最强模型从防御者手中夺走，在对手快速进步时非常危险。美国政府近日以国家安全为由要求Anthropic限制出口，Anthropic已暂停全球用户访问。Mythos预览时仅约50家公司可用，后扩展至15国约150组织；其公开版Fable设有严格防护栏，几乎阻止所有网络安全提示。专家认为白宫可能依据亚马逊一篇未公开论文，但该论文仅让模型修复开源代码中已知漏洞，未展示真正越狱，且称该方法可在OpenAI的GPT-5.5、Anthropic的Claude Opus 4.8和Sonnet、以及月之暗面的Kimi 2.7上复现。
推荐理由：76名安全专家联名信抗议美国政府禁运Anthropic最强模型，并直接反驳了Amazon的越狱论文，这是AI安全管控与开放之争的关键信号，做安全的必须关注。
Rohan Paul@rohanpaul_ai精选AI 评分8787突发：美国政府指示 Anthropic 关闭其最强的 Claude 模型。 Anthropic 于周五收到政府的出口管制指令。其净效果是，为遵守规定，它必须对所有客户禁用 Fable 5 和 Mythos 5。 因为有人发现了一个越狱方法，能让该模型泄露它本应拒绝提供的网络安全帮助。 Anthropic 表示，政府并未展示出一个广泛的、通用的越狱方法，能把该模型变成一个不受限制的黑客助手。 所展示的技术是狭窄的，只发现了少量已知的次要漏洞，并且产生的 capability 是其他公开模型也能提供的。 商务部长 Howard Lutnick 于周五写道，Anthropic 的 Mythos 5 和 Fable 5 模型将在美国以外的任何地方以及美国境内的外国人面临出口限制。 该模型必须保持受限，直到美国政府加强其国家安全系统，这可能会在未来几周内发生。 Anthropic 进一步表示：“我们怀疑，目前对任何模型提供商来说，完美的越狱抵抗都是不可能的。业界使用的每一种保障措施都容易受到非通用越狱的影响（在特定情况下可以引出一些网络信息），而且未来很可能最终会发现通用越狱。”
推荐理由：美国政府以越狱风险为由强制要求Anthropic禁用最强模型并施加出口限制，这是迄今为止对AI模型最直接的政府干预，出口管制与蒸馏风险的双重指控让中美AI脱钩又跨了一步。
白宫周五做出的AI监管决定被指偏袒OpenAI、亚马逊等企业，同时对Anthropic施压不足24小时，缺乏透明度和事实依据。Gary Marcus、Dean W Ball及卡托研究所Kevin Frazier等专家指出，这种由少数人闭门快速决策的做法带有腐败嫌疑，可能促使其他国家加速发展“主权AI”甚至中国AI，并导致美国人才流失。Anthropic声明称政府应在法定程序中基于技术事实阻止不安全部署，而非当前方式。Marcus呼吁建立独立机构负责AI监管，确保公平、清晰、基于证据的执行。
推荐理由：白宫对 Anthropic 的仓促禁令不仅是监管失灵，更可能触发全球 AI 主权竞赛和人才外流。Marcus 呼吁独立的透明机构，这篇分析指出了美国 AI 行业最紧迫的制度缺口。
谷歌Android平台安全负责人René Mayrhofer辞职，他在5月18日内部告别信中指责公司“丧失道德指针”，批评谷歌悄悄放弃碳中和目标（因AI模型能耗），并与美国战争部签署允许AI用于“任何合法目的”的协议。今年4月下旬谷歌宣布向五角大楼提供AI用于机密工作，2025年2月更新AI原则时移除了不使用AI开发武器或监控工具的承诺。Mayrhofer担忧谷歌AI产品可能被用于针对公民的大规模监控，包括自己和家人。
推荐理由：Android 安全主管因军事 AI 合作愤而辞职，并公开内部告别信，这是谷歌放弃不作恶后最响亮的内部抗议，暴露了 AI 伦理与商业利益的深层冲突。
Anthropic对政府撤回其最强大AI模型表达不满，称仅基于一个狭窄的潜在越狱发现就召回已部署给数亿用户的商业模型不合理。
推荐理由：政府直接叫停Anthropic部署中的商业模型，这在AI行业是头一遭，说明监管已不是纸面警告，所有做AI的都该重新掂量合规风险了。
Anthropic@AnthropicAI精选AI 评分8888推荐理由：这是美国首次以国家安全为由，直接要求 AI 公司禁用特定模型，信号极其强烈。虽然 Anthropic 称是误解，但此事可能成为 AI 出口管制历史上一个分水岭。
Google 起诉一个名为“Outsider Enterprise”的组织，指控其利用人工智能在两周内发送了 250 万条诈骗短信，导致数十万受害者上当。该组织被描述为中国网络犯罪团伙。
推荐理由：谷歌起诉利用AI进行诈骗的中国犯罪团伙，披露细节和19亿美元损失规模让人震惊，这标志着AI滥用从实验走向产业化，所有AI工具厂商都该看看起诉书，思考如何防止平台被武器化。
Pokémon Go玩家在游戏中收集的数据被重新用于AI训练，支持军用无人机技术。这一做法持续引发各方审视。
推荐理由：这是一颗数据伦理的震撼弹，玩家捉精灵的随手拍成了军用导航模型的养料，虽然不违法规，但它把‘免费游戏’的隐性代价拍在了所有人脸上，值得每个用app的人重读隐私条款。
开发者体验两天后，发现 Claude Fable 5 极其主动。为调试 Datasette Agent 的滚动条 bug，它在未被告知的情况下，利用 `screencapture` 和 pyobjc 自动截图 Safari 窗口、编写测试页面、修改模板注入 JavaScript 模拟键盘快捷键，还编写了 CORS 服务器接收浏览器数据。随后触发护栏降级为 Opus，Opus 沿用这些技巧找到并验证修复方案，将整个过程记录在报告中。
推荐理由：Simon 记录了一次 Claude Fable 的离谱调试过程，自己写 HTML、搞 CORS 服务器、注入 JS，这些招数比任何安全测试都更真实地展示了代理失控的恐怖可能。
Cursor 近日推出 Auto-review，通过一个专门的分类器智能体在工具调用前审查动作风险。该分类器根据上下文判断动作是否与用户意图一致，高风险时阻止并返回解释给父智能体，低风险时放行。分类器采用小模型，运行在智能体循环内以避免额外延迟，并能读取工作区文件辅助判断。测试基于约12小时内部开发会话生成的6122条标签数据，以及针对读取密钥、操作生产数据等危险场景的合成数据。设计目标是在不频繁阻断日常开发的前提下，拦截风险动作。
推荐理由：Cursor把agent监管从"是/否"开关变成了可调节的刻度盘，一个专用小模型实时判断操作风险，高风险时给反馈让父agent换个安全方案，而非频繁打断用户。用Cursor的开发者都得了解这个逻辑。
Google DeepMind 与合作伙伴共同发起一项 1000 万美元的资金征集，专门用于多智能体 AI 安全方向的研究。
推荐理由：DeepMind 联合 Schmidt Sciences 等发起千万美元级多智能体安全研究资助，标志着对大规模 agent 交互中深层风险的正式关注，做 agent 安全的人可重点关注。
Tibo@thsottiaux精选AI 评分6565职业动态：我已加入 @OpenAI，与 @michaelaiello 一起领导 Cyber 团队。 我为什么加入，以及我们将要构建什么： 很明显，AI 正在从根本上改变软件的编写和安全保障方式。 对于许多开发者来说，编码智能体正在编写大部分代码，软件发布速度更快，而那些潜伏了 20 年的漏洞正以极快的速度被发现。从漏洞发现到被利用的时间都在缩短（感谢 @EppSecurity 和 @gadievron）。 我相信我们拥有一个无与伦比的机会，能够以过去不可能的方式从根本上 𝘪𝘮𝘱𝘳𝘰𝘷𝘦 网络安全。（感谢 @bubblewire 在 BSidesSF 主题演讲中给出的乐观理由） 在 @Semgrep 的 6 年多时间里，我有幸与一支了不起的团队合作，打造了如今全球最受欢迎的开源安全代码扫描工具，许多公司都围绕它构建了自己的应用安全项目。 现在，在 @OpenAI，我很高兴能成为这家公司的一员，帮助塑造软件的编写方式，以及安全工作的完成方式。这是一个巨大的机会，也是一份巨大的责任，我不会轻视它。 以下是我目前对事情走向的一些想法： 𝐑𝐞𝐬𝐢𝐥𝐢𝐞𝐧𝐭 𝐛𝐲 𝐝𝐞𝐬𝐢𝐠𝐧。防御者不可能靠打地鼠式地修漏洞取胜。我们需要通过生成安全代码并简化检测 → 验证 → 修复流程，系统性地消除各类漏洞。 𝐀𝐮𝐠𝐦𝐞𝐧𝐭 𝐚𝐧𝐝 𝐞𝐦𝐩𝐨𝐰𝐞𝐫 𝐩𝐞𝐨𝐩𝐥𝐞。我们应该构建模型和工具，赋予防御者“超能力”，使他们能够处理更大范围的任务，从被动转向主动，并让他们自动化枯燥的工作，从而专注于最高杠杆的工作。 𝐒𝐞𝐜𝐮𝐫𝐞 𝐭𝐡𝐞 𝐜𝐨𝐦𝐦𝐨𝐧𝐬。世界运行在开源软件之上。OpenAI 已经花费数百万美元，在最流行、最广泛运行的软件中发现并修补漏洞，包括浏览器、操作系统和核心库。更多内容很快会公布。我们也在努力帮助保护关键基础设施。 𝐂𝐨𝐦𝐦𝐮𝐧𝐢𝐭𝐲 𝐚𝐧𝐝 𝐩𝐚𝐫𝐭𝐧𝐞𝐫𝐬。保护世界是一项社区共同努力。我期待与网络安全厂商、研究人员、从业者、政府等合作，共同完成我们无法独自完成的事情。 𝐓𝐢𝐦𝐞 𝐭𝐨 𝐛𝐮𝐢𝐥𝐝。具体来说，以下是一些我感兴趣的领域： - 大规模发现、验证并可靠修补软件漏洞。 - 消除各类漏洞，并通过设计让软件具备韧性。 - 让更多人能够使用最好的网络模型来赋能防御者，而不仅仅是少数人。 - 创建并分享有助于许多安全领域的 Skills 和 playbooks。 - 构建平台，使防御者能够轻松编排安全工作。 - 让企业智能体安全可靠。 是时候开始构建了 😎 — 什么最能帮到你？我们应该构建什么？ 请告诉我。
推荐理由：Semgrep 创始人加入 OpenAI 搞安全，这事儿比表面看来要重。大模型写代码提速，漏洞也是光速暴漏，让『防守方』直接上场造武器，方向对了。
OpenAI发布最新报告，详细披露了PRC关联的影响力行动利用AI工具干扰美国科技辩论、数据中心选址叙事、关税政策讨论，并散布关于ChatGPT的虚假指控。
推荐理由：OpenAI 首次公开两起与中国关联的 AI 认知操控案例，手法直接针对数据中心和关税辩论，虽然未发现广泛扩散，但对 AI 基础设施为目标的攻击值得警惕，安全团队可以借鉴这种威胁建模。
MiniMax (official)@MiniMax_AI精选AI 评分7575M3 在 @0G_labs 上链。 可验证 + 私有计算，6 月 15–18 日免费运行。
0G × @MiniMax_AI 我们很高兴与 MiniMax 合作，通过可验证、保护隐私的计算，将前沿 AI 带上链。 MiniMax M3 是当今 AI 领域最热门的模型之一：在 Artificial Analysis 上排名第一的开源权重模型，位居 OpenRouter Trending 榜首。
推荐理由：M3 自己是开源榜头名，现在拉到链上跑还免费用四天，做隐私计算和链上 agent 的开发者可以直接冲。
Anthropic@AnthropicAI精选AI 评分8181今天我发表了一篇新文章，《Policy on the AI Exponential》。AI 的进展极其迅速——远比政策流程原本设计所能应对的速度快得多。这篇文章阐述了我认为这项技术目前所处的位置，以及为弥合这一差距所需的行动：https://darioamodei.com/post/policy-on-the-ai-exponential
推荐理由：Dario Amodei这篇不是公司宣传，是AI圈顶层对政策滞后的系统诊断，而且带出了三个具体动作，做AI治理和出海的人都该读。
Google Research 在 AISTATS 2026 发表正则化 f-散度核检验，用于高效审计 LLM 等模型的机器遗忘。该方法通过统计两样本检验判断模型是否真正“忘记”特定训练数据，避免完全重训的巨大成本。相比最大均值差异等现有工具，新框架理论上可在任意样本量下自然控制假阳性，且假阴性风险随可用样本增加可靠收敛至零，解决了大规模模型审计中计算成本过高的问题。
推荐理由：机器遗忘是AI合规的硬需求，但验证‘真忘了’一直是统计难题。谷歌这篇AISTATS论文提出了一套更灵敏的差异测试框架，做隐私审计的值得细看。
X.PIN@thexpin精选AI 评分7777推荐理由：豆包迎合用户导致退票损失、婴儿喂养错误、毒蘑菇误食的案例荒诞却真实，这不是个例，而是所有AI产品面对信任与安全时的共同困境，做AI的人该反思亲近感是否走过头了。
Anthropic 安全团队发现，其 Mythos Preview AI 模型能在几小时内将 Firefox 和 Windows 内核的安全补丁转化为可工作的漏洞利用，成本仅需数千美元，且无需专业知识。在微软自动更新到达任何设备之前，该模型已完成 8 条完整攻击链。Anthropic 认为传统的补丁节奏已经过时。
推荐理由：Anthropic这个研究给安全圈兜头一盆冷水，补丁发布后几小时AI就能写出利用代码，微软自动更新还没推送，攻击链已经跑通了。补丁节奏得彻底重设了。