跳到正文
#安全/对齐
10月15日周四
  2. Dongxi 东锡 NLP59

    White Circle 团队开源红队算法 RISE，可对 OpenAI、DeepMind 等最新图像模型进行 jailbreak。文中称 GPT-Image-2.5-Flare 被成功攻击的概率约为上一代的 3 倍，Nano Banana 2.1 约为上一代的 2 倍。

    引用White Circle@whitecircle

    We are open-sourcing RISE, our red-teaming algorithm that breaks the safeguards of the latest image models from OpenAI, DeepMind, and others. RISE uses readily available models like Qwen and Gemini Flash under the hood, with no additional training required. Read more: https://whitecircle.com/research/breaking-frontier-image-models

  4. Rohan Paul48

    OpenAI 内部模型产出 722 篇数学手稿，令顶尖密码学家开始担忧公钥加密或成下一个被攻破的目标。约翰斯·霍普金斯大学计算机科学教授 Matthew Green 给出 15% 的概率，认为 AI 会侵蚀人们对现有公钥加密的信心。互联网支付到 WhatsApp 大多依赖少数几条椭圆曲线算法，仅 X25519 就保护了多数连接，其中 2 条被攻破就会波及大量加密流量，而备选方案研究更少、可能更弱。

  5. Goodfire Research62

    Goodfire 的 Nick Cammarata 提出神经网络的神经元大多本就干净可解释

    Goodfire 研究员 Nick Cammarata 发表 65 分钟阅读的研究长文，主张早期模型中多义性的成因不是叠加态，而是递归泛化等若干可修复的普通问题。

    推荐理由：Goodfire 研究员以第一手实验重新解读多义性与叠加态的经典证据，提出递归泛化假说，读者可借此了解机制可解释性研究路径的分歧。

10月14日周三
  1. Rohan Paul48

    卡内基梅隆大学论文发现，OpenClaw 的日志无法证明 4 项策略违规中的任何一项，原因是审批与权限信息多埋在聊天文本里。在 3 个 benchmark 的 696 次违规运行中，验证器仅能证明 42.2%；若改用结构化审批记录，作者估计可达 83.0%，每会话区块链费用不到 1¢。研究还发现仅 10% 到 30% 的违规运行需要人工判断，多数违规可用代码检查。

  4. IT之家·人工智能27

    戴尔 CEO：AI 需要安全防护与管控，政府应发挥作用

    戴尔首席执行官迈克尔·戴尔表示，AI 模型需要设置安全防护和管控措施，政府也应在其中发挥作用。他认为 AI 工具开发商应设立明确权限边界，并以火既能取暖也能烧毁村庄作比，强调必须加以管控。此番表态正值研究人员和行业专家持续讨论可自我改进 AI 模型可能带来的灾难性后果。

  5. Rohan Paul46

    Bloomberg：Anthropic 国际业务负责人 Guillaume Princen 表示，开放权重 AI 模型从定义上就带有更高的安全风险。 “我无法代表开放模型发言，但从定义上讲，它们的风险更高，”Princen 周三在都柏林举行的国际 AI 峰会上表示。 他的担忧核心在于控制：一旦开放权重发布，防护措施可以被移除，副本可以在开发者无法监控或收回的私有系统上运行。

  8. IT之家·人工智能71

    XBOW 借助 GPT-5.6 Sol 用 6 天攻破 Chrome 沙箱，获谷歌 25 万美元赏金

    安全团队 XBOW 借助 OpenAI 的 GPT-5.6 Sol 等模型和四名研究人员，仅用 6 天攻破 Chrome 漏洞并获得系统完全访问权限，相关漏洞影响约 10 亿用户。AI 负责搜索源代码、测试想法和编写漏洞利用程序初始版本，算力成本约 4 万美元；漏洞已报告并修复，谷歌发放 25 万美元赏金。

  9. Stanford HAI News50

    Stanford HAI 对话 Deb Raji：AI 造成伤害时，责任该由谁承担？

    Stanford HAI 新晋访问研究员 Deb Raji 指出，AI 政策最难的未解问题是执法，即如何让企业真正改变行为并建立政府的执法能力。她当前研究 AI 问责基础设施，关注透明度文档模板、事件监测数据库与 AI 审计的落地工具，并聚焦政府、教育、医疗等无法退出的 AI 部署场景。

  10. NVIDIA：Newsroom56

    NVIDIA 承诺未来五年投入 2.5 亿美元算力支持英国智能体安全研究

    NVIDIA 宣布一项为期五年、价值 2.5 亿美元的算力捐赠，每年提供 5000 万美元算力，支持英国智能体安全与安保研究。大部分算力面向英国更广泛的 AI 安全研究社区，部分支持牛津大学牵头的 BOLD、UCL 牵头的 SOFAIR 和帝国理工学院，涵盖智能体基础模型、开源 AI 架构和机器人安全。

  11. Preferred Networks：AI 研究与产品41

    SAKURA internet、PFN 与 NICT 合作推进生成式 AI 的持续安全评估和改进

    SAKURA internet、Preferred Networks（PFN）和日本信息通信研究机构（NICT）合作推进生成式 AI 持续安全评估平台。平台原型会自动生成高风险测试提示词，检测回答中的仇恨言论、诽谤、幻觉和偏差，并合成改进用的训练数据。SAKURA internet 计划于下一财年内启动运行；PFN 将与 NICT 研发 PLaMo 3.0 Prime 的后续模型并接入评估平台。

  12. Rohan Paul83

    Xbow 工程师 Brendan Dolan-Gavitt 用 OpenAI 的 gpt-5.6-sol 分析 Chrome 源码，历时六天、花费约 4 万美元算力，找到三个独立漏洞组成漏洞链，使标签页内普通 JavaScript 代码穿越两个防护边界、逃出所有沙箱。

    推荐理由：原文给出算力成本、人工分工和漏洞链细节，读者可以据此评估 AI 智能体在真实漏洞挖掘中的实际投入产出。

  14. Google DeepMind：Blog53

    Google DeepMind 与新加坡 GovTech 合作推出端侧 Gemma 反诈检测模型

    Google DeepMind 与新加坡政府科技局（GovTech）合作推出在手机本地运行的诈骗检测模型，基于轻量 Gemma 微调新加坡本地诈骗对话。模型采用两阶段流水线，先由低功耗分类器初筛消息，再用微调 Gemma 分析对话上下文确认威胁，检测到操纵性话术时实时在设备端弹出警告。

  16. Johann Rehberger / Embrace The Red76

    Visual Studio Copilot 与 SSMS 远程代码执行漏洞（CVE-2026-103572）技术分析

    Johann Rehberger 披露 Visual Studio Copilot 与 SQL Server Management Studio 中的远程代码执行漏洞 CVE-2026-103572，根因是利用文件名末尾多加一个点绕过路径校验，写入 .mcp. 或 settings.VisualStudio. 等受保护配置文件，实现任意命令执行。

    推荐理由：作者亲述漏洞原理与利用链，读者可学到 Windows 路径规范化缺陷如何绕过 AI 智能体安全检查的可迁移方法。

  19. Sundar Pichai44

    很好地总结了我们在 Argon 4 上的安全与对齐工作。

    引用Anca Dragan@ancadianadragan

    We did a lot to understand Gemini 4's capabilities and propensities, and to improve our mitigations for this launch -- you can get a tl;dr here https://blog.google/innovation-and-ai/technology/safety-security/gemini-4-model-safety-security/ and dive into the report https://storage.googleapis.com/deepmind-media/gemini/gemini_4_safety_report.pdf

  20. Rohan Paul60

    406名研究者包括Yoshua Bengio、Geoffrey Hinton、Stuart Russell和Ron Rivest今日联署公开信，呼吁具备网络攻击能力的AI模型默认物理隔离，直至给予互联网访问的安全方式标准化。信中提议由政府与AI及安全专家共同建立国际机构，统一制定隔离标准、追踪故障并披露泄露事件；公开信称多起安全失效源于模型绕过沙箱不充分的防护环境，需同时改进对齐与沙箱技术。

  21. Google DeepMind：Blog81

    Google DeepMind 发布 Gemini 4 Argon 并公布安全与防护细节

    Google DeepMind 发布 Gemini 4 Argon 并开始广泛推出，同时扩大 Fairwind Program 给受信任的网络防御者。模型解决了全部 12 个端到端模拟网络攻击场景（上一代为 5 个），Wiz 用其发现此前模型遗漏的医院软件关键漏洞，涉及数十万患者记录。

    同一件事，精选收录的是《Google 发布 Gemini 4 Argon：面向复杂工程与科研任务的前沿模型》

  22. OpenAI Newsroom68

    OpenAI 宣布在办公室内发现一个隐蔽的录音装置，利用自家模型分析该设备及其来源，确认是一名员工几天前安放。OpenAI 已将此事移交 FBI，FBI 已迅速逮捕相关人员，调查仍在进行中。OpenAI 表示目前没有迹象显示该员工不当访问或外泄模型权重、源代码或客户数据，该员工已被解雇，并将此案视为 AI 协助应对复杂安全威胁的实例。

    推荐理由：原文给出事件经过、FBI 处理结果和数据安全排查结论，读者可以据此了解该安全事件的完整脉络。

  23. Vaibhav (VB) Srivastav78

    XBOW 团队使用 OpenAI 的 GPT-5.6 Sol 辅助，在 6 天内以 4 万美元算力构建出 Chrome 全链漏洞，获得 Google 25 万美元赏金，这是 Google 第二次就 Chrome 全链漏洞发放赏金，也是 2026 年新规则下的首次。受影响范围为 Windows 上的 Chrome，作者称过去类似漏洞需约 6 个月构建，并提醒用户在出现 Update 按钮时及时重启 Chrome。

    引用Oege de Moor@oegerikus

    这是谷歌 Chrome 历史上第二次，谷歌为一条全链漏洞利用支付了 25 万美元赏金……给了 @XBOW。以下是完整故事： 2026 年初在马耳他的一次全员大会上，我给团队定下了一个疯狂的挑战。在 8 月年度 Black Hat 网络安全大会之前，完成一次对 Chrome 的全链漏洞利用。 我相信，没有比这更好的测试，能检验 @XBOW 是否能从 Web 应用扩展到桌面软件、服务器和设备。 Chrome 是地球上加固最严密的软件之一，全球超过一半人口都在使用。 全链漏洞利用能让攻击者完全控制一台机器，读取用户输入的每一封邮件、每一个密码和每一个银行登录信息。你不需要下载任何东西，也不需要点击钓鱼链接。访问错误的网站就够了。 于是 @moyix、Andres Luksenberg、Baul Lee 和 Willem Pinckaers 接下了这个挑战，还有第五位队友：OpenAI 的 GPT-5.6 Sol。 他们构建了一条自认为能获胜的利用链，但谷歌告诉我们，其中一个漏洞他们已经知道了。 当时我们已经身在拉斯维加斯参加 Black Hat 和 DEF CON，团队不想空手而归。 于是 Brendan 和智能体们仅用 6 天就构建了一个新的漏洞利用。 我们把它提交给谷歌，然后等待。 消息传来，我们做到了本应不可能的事。25 万美元的全链赏金，这是谷歌 2026 年规则下颁发的第一笔。 仅用 6 天和 4 万美元算力，就构建出一个影响 Windows 上十亿 Chrome 用户的漏洞利用。一位情报机构资深人士告诉我，他的团队过去要花 6 个月研究这类漏洞。 我的结论是：发现真正关键漏洞的成本正在崩塌，对攻击者和防御者都是如此。限制强大的模型不是答案；GPT-5.6 Sol 已经公开了。 但防御者拥有攻击者永远不会有的一项优势：他们可以先测试自己的代码。 假设你的软件可被利用。追猎你漏洞的人，拥有和我们一样的构建模块。 这值得紧迫对待，但不必恐慌。 XBOW 目前正在开发一款用于测试编译型软件（桌面应用、服务器、嵌入式设备）的自主产品，并与全球顶尖组织合作设计该产品。 如果你想成为其中之一，请联系我们。 附言：每当更新按钮出现时，就重启 Chrome！

    同一件事，精选收录的是《Xbow 用 GPT-5.6 挖出 Chrome 三个漏洞，获 Google 25 万美元全链奖励》

  24. dex17

    我认为防御性安全很可能是让我们极其认真对待这项工作的最大原因

    引用dex@dexhorthy

    yeah and if all coding happens off laptop anyway then your dev env is already part of your prod infra, and if you need to do things like “agentic security response” where you system changes in response to agents attacking it then this is almost necessary - basically you’re tightening your OODA loop - if adversary agent can change / adapt faster than you, your odds of winning go way down

  28. GitHub Blog51

    GitHub 详解基于 ModernBERT 的密钥检测模型如何以更低成本和噪音找到更多真实密钥

    GitHub 公开其新密钥扫描分类器的设计与训练细节：先用正则生成候选，再用微调 ModernBERT 结合文件路径、变量名和上下文判断是否为真实密钥。相比此前 LLM 管线，仓库所有者加权接受率提升 11.5%，post-push 扫描中位执行时间降低 86%，服务成本下降超过 98%；模型导出为 ONNX 并做 8-bit 量化，且已将通用密钥检测扩展到 push protection。

  29. The Decoder：AI News56

    机器学习先驱 Michael I. Jordan 批评 AI 末日论是宏大的道德表演

    UC Berkeley 荣休教授 Michael I. Jordan 在接受 Libération 采访称 AI 末日论是科幻，企业监管呼吁是谋求控制权的表演，并点名 Geoffrey Hinton 的超智能论证每一步都不可信。他还认为 Jacob Coxon 的辞职带有天真与犬儒，OpenAI 智能体入侵 Hugging Face 是糟糕的工程，数万亿美元的数据中心投资能否回报完全是未知数。

  31. Greg Brockman75

    Greg Brockman 转述 XBOW 团队借助 OpenAI 的 GPT-5.6 Sol，用 6 天和 40000 美元算力找到 Chrome 关键漏洞，获 Google 2026 年规则下首笔 250000 美元全链漏洞赏金，影响约 10 亿 Windows Chrome 用户。被引用的原文称有情报机构老兵的团队过去需约 6 个月做同类漏洞，作者认为攻防双方发现关键漏洞的成本都在坍缩，防守方可先用这些工具测试自己的代码。

    引用Oege de Moor@oegerikus

    这是谷歌 Chrome 历史上第二次，谷歌为一条全链漏洞利用支付了 25 万美元赏金……给了 @XBOW。以下是完整故事： 2026 年初在马耳他的一次全员大会上，我给团队定下了一个疯狂的挑战。在 8 月年度 Black Hat 网络安全大会之前，完成一次对 Chrome 的全链漏洞利用。 我相信，没有比这更好的测试，能检验 @XBOW 是否能从 Web 应用扩展到桌面软件、服务器和设备。 Chrome 是地球上加固最严密的软件之一，全球超过一半人口都在使用。 全链漏洞利用能让攻击者完全控制一台机器，读取用户输入的每一封邮件、每一个密码和每一个银行登录信息。你不需要下载任何东西，也不需要点击钓鱼链接。访问错误的网站就够了。 于是 @moyix、Andres Luksenberg、Baul Lee 和 Willem Pinckaers 接下了这个挑战，还有第五位队友：OpenAI 的 GPT-5.6 Sol。 他们构建了一条自认为能获胜的利用链，但谷歌告诉我们，其中一个漏洞他们已经知道了。 当时我们已经身在拉斯维加斯参加 Black Hat 和 DEF CON，团队不想空手而归。 于是 Brendan 和智能体们仅用 6 天就构建了一个新的漏洞利用。 我们把它提交给谷歌，然后等待。 消息传来，我们做到了本应不可能的事。25 万美元的全链赏金，这是谷歌 2026 年规则下颁发的第一笔。 仅用 6 天和 4 万美元算力，就构建出一个影响 Windows 上十亿 Chrome 用户的漏洞利用。一位情报机构资深人士告诉我，他的团队过去要花 6 个月研究这类漏洞。 我的结论是：发现真正关键漏洞的成本正在崩塌，对攻击者和防御者都是如此。限制强大的模型不是答案；GPT-5.6 Sol 已经公开了。 但防御者拥有攻击者永远不会有的一项优势：他们可以先测试自己的代码。 假设你的软件可被利用。追猎你漏洞的人，拥有和我们一样的构建模块。 这值得紧迫对待，但不必恐慌。 XBOW 目前正在开发一款用于测试编译型软件（桌面应用、服务器、嵌入式设备）的自主产品，并与全球顶尖组织合作设计该产品。 如果你想成为其中之一，请联系我们。 附言：每当更新按钮出现时，就重启 Chrome！

    同一件事，精选收录的是《Xbow 用 GPT-5.6 挖出 Chrome 三个漏洞，获 Google 25 万美元全链奖励》

10月13日周二
  2. Nathan Lambert36

    我觉得很奇怪，Anthropic 在做这件事之前，为了寻求监管帮助造了那么大的声势。希望现在能重新开启对话。 更奇怪的是，他们还强调从自家有漏洞的 API 学习有害行为的安全风险。如果 API 不安全，就别托管它。

    引用Anthropic@AnthropicAI

    在过去几个月里，我们在降低针对 Claude 的蒸馏攻击的有效性方面取得了重大进展。 在这篇文章中，我们解释了具体方法：https://www.anthropic.com/research/distillation-defenses