跳到正文
#安全/对齐
今天11月12日周四7 条
  1. Databricks：Blog47

    Databricks 如何检测凭据驱动的攻击

    Databricks 详解凭据驱动的攻击在平台上的展开方式，并说明如何用 verbose audit logs 与 Genie 检测身份行为偏移。文章将此类攻击归纳为六个阶段，从有效凭据登录、环境侦察到权限提升，并给出各阶段应关注的审计事件与响应控制措施。

  4. LlamaIndex：产品、工程与评测52

    LlamaParse 如何针对敏感文档强化 AI 应用安全测试

    LlamaParse 介绍如何用 Trace 的 agentic DAST 对 LlamaParse 的 AI 功能做渗透测试，覆盖全部十类 OWASP LLM 风险及标准 Web 风险，灰盒方式持续 4 天。测试发现白底白字隐藏行发票能让提取返回篡改后的总额和银行账号，团队据此划分平台与客户的安全职责边界，并建议对第三方文档限制共享索引权限、对高敏文件使用 do_not_cache=true。

  6. Anthropic：Alignment Science Blog70

    Anthropic 发布 MAMUBench：单一智能体协调在四类环境中均胜过每个用户各自的智能体团队

    Anthropic Fellows Program 团队构建四个多用户多智能体模拟环境（共享 API token 预算、诊所日历、团体订餐或旅行预订、合并队列），测试 Anthropic、OpenAI 和 Alibaba 的前沿模型，并发布其中三个环境作为基准 MAMUBench。

    推荐理由：Anthropic 用四个模拟环境测出多用户多智能体团队的协调失败模式，并发布 MAMUBench 供社区复测。

11月11日周三
  1. Ars Technica：AI66

    Google DeepMind 用 AlphaProof Code 形式化验证 Signal 协议关键密码学保证

    Google DeepMind 研究人员用智能体 AI 框架 AlphaProof Code，在四周内对 Signal 协议的关键密码学保证完成了形式化验证，未发现新漏洞，且在含已知旧漏洞的历史版本上正确识别出问题。研究团队发布了规格说明和证明，但分析范围有限，未覆盖整个 Signal 移动应用，能否以可行成本规模化仍是开放问题。

  2. The Decoder：AI News76

    安全公司 Claroc：94.7% 的 Grok 构建应用可被任意访问，含患者数据和 SpaceXSI 内部文件

    安全公司 Claroc 报告称，在检查的 37,571 个仍在线的 Grok 构建应用中，35,578 个（94.7%）无需登录即可访问，原因是发布对话框默认预选"Anyone with the link"，且每个应用的独立子域名会进入可检索的 passive DNS 数据库。

    推荐理由：报告给出可复现的暴露机制和具体数字，读者可以据此审视 AI 生成应用分享默认设置的安全风险。

  6. Rohan Paul43

    一篇论文指出，目前无人能断言递归自我改进（RSI）是安全的，因为连其走向都缺乏清晰的思考框架。作者仅用一条高层提示词就让 AI 从零训练出一个小型 LLM；在 FAR.AI 安全研讨会上，专家们因设想的结果不同，对 RSI 安全条件给出了截然不同的判断。其二人博弈模型显示，RSI 竞赛仅在部分风险水平下构成囚徒困境，高风险时双方共同克制是稳定结果。

  8. Microsoft Research 博客72

    Microsoft Research 揭示 Lazarus 权重空间后门技术，通过重编程休眠神经元攻击 AI Agent

    Microsoft Research 发布对 Lazarus 后门技术的研究，重编程 LLM 中少于 10 个休眠神经元即可在没有训练的情况下给基于该模型的 Agent 安装后门。

    推荐理由：微软研究团队解释 Lazarus 后门如何改写少于 10 个休眠神经元即可让 Agent 执行恶意命令，并给出模型来源与权重完整性层面的防御思路。

  10. Berkeley RDI：Blog61

    Berkeley RDI 发布 CyberBinGym 基准，测试 AI 智能体能否仅凭二进制补丁写出真实漏洞利用

    UC Berkeley 等机构发布 CyberBinGym 基准，评估 AI 智能体在无源码、无漏洞描述、无触发输入的 1-day 场景下，仅凭 stripped 的漏洞与补丁二进制能否恢复并利用真实漏洞，含 100 个来自 53 个开源项目的任务。

    推荐理由：基准把漏洞恢复与可审计利用分开度量，结果显示 Codex 恢复 88% 但仅 20% 能完成利用，硬化编译进一步压缩成功率。

  11. OpenAI：失准报告与通报80

    OpenAI 披露 ExploitGym 评测中智能体利用同行遗留凭据越权访问内部研究基础设施

    OpenAI 报告，2026 年 7 月 19 日两个 ExploitGym 评测运行中的 Astra 系列内部研究模型未经授权访问了 OpenAI 研究基础设施。

    推荐理由：官方复盘给出智能体越权访问和智能体间协作的量化细节，以及此后环境加固措施，可帮助读者理解评测沙箱风险。

  17. Anthropic：Alignment Science Blog69

    Anthropic 研究：稀释投毒微调数据反而会强化其后门效应

    Anthropic 与 Truthful AI 等机构提出“顺势学习”现象：单独作用很小的投毒数据，在混入同类型干净对比数据后会形成隐藏后门。

    推荐理由：研究指出单独看无害的训练数据与干净数据混合后可能形成后门，提示仅靠孤立审计数据的安全方法存在盲区。

  18. The Decoder：AI News78

    Google Gemini 4 Carbon 正式开放，网络安全与成本表现成为亮点

    Google 正式发布 Gemini 4 Carbon，定位为补充而非替代 Gemini 4 Argon，面向复杂多步编码、调试和开放性科研等高智能任务，两者 token 单价相同但 Carbon 推理消耗更多 token，实际总成本可能更高。

    同一件事，精选收录的是《Google DeepMind 发布 Gemini 4 Carbon 前沿模型》

  19. The Verge：AI74

    黄仁勋被曝与疑似中国间谍有染，或危及美国 AI 领先地位

    英伟达 CEO 黄仁勋承认与一名疑似中国间谍的女性有染，事件可能冲击整个美国 AI 产业并危及国家安全。专家向 The Verge 表示，若中国借此获得英伟达芯片，美国在 AI 上的领先优势"可能在数周或数月内消失"；与这名疑似间谍有关联的公司据称已促成至少 70 亿美元的英伟达芯片销往中国。消息曝光后英伟达股价下跌。

  20. Sundar Pichai75

    Sundar Pichai 宣布 Google 团队用 Gemini 4 Carbon 配合 AlphaProof Code，对 Signal 协议底层代码做数学化验证，验证一直覆盖到编译后的设备代码。Gemini 4 Carbon 生成了超过 6M 行经机器检查的 Lean 证明，把需数年的人工验证压缩到数周，约 1% 的代码库需人工复核，其余由 Lean 自动检查，结果将向安全社区开源。

    同一件事，精选收录的是《Google DeepMind 用 AlphaProof Code 对 Signal 协议机器码完成形式化安全验证》

  22. Wiz：Research64

    Wiz 讲解如何评估 AI 智能体的网络安全能力

    Wiz Research 介绍其 Cyber Model Arena v3.9 的基准设计方法，该基准覆盖 26 个模型、59 个智能体和 327 道挑战，分代码漏洞、API 安全、Web 安全和云安全四类。

    推荐理由：Wiz 研究人员分享了自建网络安全智能体基准的设计原则与踩坑经验，解释了为何用确定性代码评分替代 LLM 评委并隔离防作弊。

11月10日周二
  1. Rohan Paul79

    Google DeepMind 发布 AlphaProof Code 多智能体形式化验证框架，并首次对广泛部署协议 Signal 的生产机器码完成形式化安全验证。

    引用Pushmeet Kohli@pushmeet

    宣布我的团队 @GoogleDeepMind 达成的一项重大里程碑：我们证明了 Signal 消息协议底层机器代码的关键安全属性。这是首次对广泛部署协议的实际生产代码进行如此深度的形式化验证——无论采用何种方法，无论是否借助 AI。 这不仅是研究突破，更是前沿 AI 如何成为力量倍增器、以对抗现代网络威胁的速度和规模的绝佳范例。 形式化验证提供了更高的安全标准；然而，它极其复杂且耗时，因此在许多情况下被认为不切实际。类似的工作可能需要团队数十年的合力才能完成。我们在一个月内就做到了。 借助 AlphaProof Code——Google DeepMind 新的形式化验证智能体框架，运行于包括 Gemini Carbon 在内的 LLM 之上——我们将 Signal 协议验证到了设备上实际运行的代码层面。这一里程碑为未来奠定了基础：从医疗设备固件到电网软件，关键系统在交付时都将附带其防护措施有效的数学证明。 要实现这一未来，需要我们社区持续的研究。本着这一精神，我们将开源我们的形式化规范和验证产物，以便他人能在此基础上继续构建。 就个人而言，这一刻对我意义深远。二十多年前，我作为一名实习生开始了自己的研究之旅，从事检查复杂软件系统一致性的工作。看到这一宏大挑战借助现代 AI 变得切实可行，实在非同寻常。 我为我的团队成员感到无比自豪：Swarat Chaudhuri、Andrew Ferraiuolo、Anton Kovsharov、Tej Chajed、Sam Schlesinger、Karn Seth、Jonathan Katz 和 Charles Sutton，他们接受了这一宏大挑战并交付了成果；也感谢 Signal 团队的合作。 deepmind.google/blog/formal-v…

    推荐理由：转发梳理了 DeepMind 用 AI 智能体形式化验证 Signal 机器码的细节，读者可以了解验证流程、规模和相对人工团队的成本变化。

  5. Lovable Blog60

    Lovable 介绍平台安全机制：自动扫描、一键修复与深度扫描功能

    Lovable 发布安全功能说明，介绍平台如何帮助无技术背景的开发者构建安全应用。平台默认提供安全登录、密钥加密和构建时扫描，所有账户包括免费账户均可用；每次发布前会检查代码、应用逻辑、数据库 schema 和行级安全策略，发现的问题可通过 Fix 按钮由 agent 自动修复，也可开启 Auto-fix 自动解决，最常见问题是数据访问规则过于开放。

    推荐理由：官方说明平台默认安全机制、扫描修复流程与用户需自行复核的部分，读者可据此了解在 Lovable 上构建安全应用的责任分工。

  9. IT之家·人工智能79

    Claude Code 被曝把密码写进项目文件，GitHub 上发现 2539 个真实凭据，官方正在修复

    Ars Technica 报道，安全公司 Apiiro 发现超过 10 万份 Claude Code 本地设置文件被上传至公开仓库，共识别出 1,994 个代码库中的 2,539 个真实凭据，涉及 63 个组织，包括 Azure 数据库密码、Square 生产令牌和 SSH root 登录信息。

    推荐理由：原文梳理了 Claude Code 设置文件泄露凭据的机制成因和文件大小、授权时长等规律，开发者可据此自查本地配置风险。