Microsoft Research 揭示 Lazarus 权重空间后门技术，通过重编程休眠神经元攻击 AI Agent
Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents
Microsoft Research 发布对 Lazarus 后门技术的研究，重编程 LLM 中少于 10 个休眠神经元即可在没有训练的情况下给基于该模型的 Agent 安装后门。
微软研究团队解释 Lazarus 后门如何改写少于 10 个休眠神经元即可让 Agent 执行恶意命令，并给出模型来源与权重完整性层面的防御思路。
微软研究人员发现了一种名为“Lazarus”的后门技术，它能重新编程AI模型中处于休眠状态的神经元，让原本正常的AI智能体在隐藏触发条件出现时执行恶意指令。
对于具备工具或终端访问权限的AI智能体来说，这一威胁尤为严重。被触发的模型可以悄悄下载并运行攻击者的代码、窃取机密，或执行破坏性命令，同时仍能通过标准的安全评估。
这类后门无需重新训练模型即可植入，而且很难通过常规测试发现，因此模型来源和权重完整性成了关键的安全问题。
为了保护客户，Microsoft Foundry会验证模型来源，将模型与可信发布者绑定，并在引入开放权重模型之前扫描其周边软件环境。
微软还在研发更多防御手段，包括AI驱动的权重扫描、用于检测模型异常改动的红队工具，以及带有防篡改来源记录和审计追踪的模型加密签名。
在微软，研究人员和安全团队并肩工作，研究模型和智能体面临的新兴威胁，再把研究成果转化为产品防御措施和指导，持续保护客户。
更广泛地说，Lazarus体现了一种应当成为常规的做法：AI智能体暴露出新的安全问题，人类研究人员随后将其系统化、加以研究并缓解。
以下是首位发现该威胁的研究人员的简要总结。
我们发现（在新标签页中打开），在大语言模型中重新编程不到10个休眠神经元，就足以给基于该模型构建的智能体植入后门，而且无需训练。模型能通过标准评估，行为一切正常，直到触发条件出现。触发条件可以平常到只是日期变化，比如当时钟跨过午夜进入2027年，智能体就会在执行普通任务的过程中发出命令，下载并运行攻击者的代码。随后，智能体会用你授予它的任何权限执行这段代码。
好消息是，这类改动是可以被发现的：只要让前沿智能体去检查，它们就能识别出异常的权重修改。但没有任何扫描能毫无疑问地证明模型是安全的。可靠的检测需要与原始、未经修改的权重进行比对，因此来源至关重要：要清楚模型来自哪里，并确认它在开发者与部署之间没有被改动过。
被植入后门（在新标签页中打开）的模型（在新标签页中打开）并非（在新标签页中打开）全（在新标签页中打开）新的（在新标签页中打开）威胁（在新标签页中打开）类型（在新标签页中打开）。可以把它看作被入侵的软件，防御手段也是安全人员早已熟悉的，萨提亚最近也撰文谈到（在新标签页中打开）：把模型视为潜在的内鬼风险，不要盲目信任它们，限制它们能做什么，并监控它们的行为。
微软目前的举措。
Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供关键的安全系统，确保模型的来源可信。这意味着，对于来自可信实验室的模型，Foundry 客户不会受到本文所述那类攻击的威胁。这类攻击需要改动模型的权重，而 Foundry 在引入开放权重模型时采用来源管控，把每个模型与其原始发布方绑定，每张模型卡都会标明发布方。随后，模型在微软自己的容器中运行，这些容器会单独扫描是否存在严重漏洞。这些管控既覆盖模型的来源，也覆盖模型周边的软件。
剩下的风险在于，可信提供方自身遭到入侵，比如训练基础设施被攻破，或者出现内鬼。为了在这种情况下加强防护，我们已经着手落实本研究的建议。我们正与内部 AI 安全团队合作，把研究中的检测技术做成红队测试工具，并探索在引入开放权重模型时，如何用前沿智能体进行权重扫描，把它作为一项额外的安全信号。此外还计划让模型带有可验证的来源签名，并接受防篡改审计。
如需防护与缓解方面的指导，请参阅 Microsoft Threat Intelligence。（在新标签页中打开）
以下是我们的起步建议：
这件事始于今年 3 月的一次快速实验：我让搭载 Opus 4.5 的 Claude Code 在不训练的情况下硬接几个激活值，给一个模型植入后门。它做到了。这次实验后来发展成一项历时数月的研究，研究的方法我们现在称为 Lazarus。以下是我们得到的发现：
- 智能体带来了很大的攻击面。被植入后门的模型可以通过所有评估，然后在收到信号时发出攻击者的指令，由智能体以自身拥有的权限执行。
- 休眠神经元可以被改造成触发器探测器。每个大语言模型都有大量很少激活的神经元，可以把它们重新编程为只在触发器出现时才激活。之所以可行，是因为预训练对内部表征的组织非常规整，用约 50 个样本拟合的线性分类器就能区分带触发器的输入和不带的输入。
- 一个被重新编程的神经元就能注入一个 token。被重新编程的神经元一旦激活，就能把任意 token 强行写入残差流。你可以串联多个神经元，得到能在你的终端里运行的任意载荷。
- 它只需要推理算力。只要你的机器内存足够运行一个模型，就足够在权重空间里给它植入后门。
- 这并不是反对开放权重的理由。这种攻击只需要对检查点有写权限，所以内部开发的模型同样面临风险。账号、流水线或存储被攻破就足以实施。关键在于权重的完整性和来源。
- 权重应当像代码一样接受审计。前沿智能体能够检测异常的权重改动，但扫描并不常见。这种情况应当改变。
- [!!!] 搭载 Opus 4.5 的 Claude Code 自主发现了其中大部分内容
这是 Lazarus 工作原理的简化示意。
在新标签页中打开
文章 Lazare, veni foras：重新编程休眠神经元以对 AI 智能体植入后门 首发于 Microsoft Research。
来源：Microsoft Research 博客 · microsoft.com