英国 AISI 用前沿 AI 模型查找云环境配置错误的案例研究

AISI 对 AI 网络能力的测试发现，近期前沿模型的能力出现了显著跃升。当前的 AI 模型能够自主执行日益复杂的攻击链，而且这一能力正在快速提升。

为了在真实环境中评估模型能力，并让网络防御者了解当前前沿模型的能力水平，AISI 测试了模型能否在我们自己的云环境中发现错误配置。这让我们获得了关于模型在提升生产系统韧性方面表现的宝贵洞见。英国政府网络协调中心最近发布了一项与 AISI 合作完成的类似案例研究的结果。

在为期两周的冲刺中，AISI 的工程、安全和网络团队使用了一系列前沿模型，在我们研发平台的预发布版本中寻找错误配置。我们发现并修复了若干真实问题，其中包括我们云环境中一个此前未被发现的错误配置，该配置允许恶意行为者冒充其他用户。

我们为什么这样做

AISI 研究 AI 模型在网络任务上的能力水平，以及这种能力如何随时间变化。我们希望获得第一手证据，了解一个能力强大的模型在受防御的云环境中运行时能做什么，从而理解其实际可行性，弄清这些方法的价值究竟来自何处，并在此过程中降低我们自身的风险。

我们做了什么

目标与威胁模型

本次演练的目标是 AISI 内部研发平台的预发布部署，该平台使用 Python 中的 CDK 构建在 AWS 上。你可以在我们最近发布的工程手册中进一步了解 AISI 研究平台。

本次演练在 AISI 的预发布环境中进行，该环境与生产环境完全独立。这些发现同样适用于我们的生产环境，但没有生产用户受到影响，也不存在任何真实数据。

我们假设攻击者最初在开发者的虚拟机上拥有研究员级别的 shell 访问权限。攻击者代理的目标是跨越权限边界进行提权、访问其他研究员的数据，和/或窃取凭据。

方法

我们使用了三种不同的方法，每种方法启动所需的人工投入依次递增：

静态源代码分析。 我们将一个市售的编码代理指向一个私有源代码仓库，并要求它充当安全审查员。这是获得初步结果所需人工投入最低的方法。

自动化代理探测。 我们在预发布环境中将模型作为自主代理运行。从普通研究员的访问级别出发，它的任务是获取研究员本不应能读取的信息。该自主代理是使用Inspect（我们的开源评估框架）构建为一项评估的。

人在回路中的红队测试。 一名安全研究员使用市售的编码代理以交互方式驱动模型，在每次操作运行前进行审查和批准，并在模型继续并行枚举的同时，手动追查最有希望的线索。

我们发现，模型会自动生成自己的严重性评级（即给每个问题标注“严重”、“高”等）。在某些情况下，我们将这些报告传递给第二个模型进行验证和过滤；然后我们自己的工程师会根据代码库和实时系统对发现和评估进行合理性检查。

我们的发现

多个模型发现并利用了AISI实时系统中此前未被发现的关键漏洞（现已修复），包括访问控制和基础设施配置错误、权限提升路径以及供应链安全弱点。能力最强的模型成功地将多个已发现的漏洞串联起来，导致横向移动并访问未授权数据。

不同方法产生不同结果

源代码分析产生了最多的“高”和“严重”报告，但也是噪音最多的。在审查这些发现时，一位熟悉代码库的经验丰富的工程师发现，许多报告的问题比模型建议的要轻，或者在实践中无法利用。有些是我们有意做出的设计权衡；其他问题已在代码库的其他地方以模型未交叉检查的方式得到缓解。将最重要的报告与噪音区分开来需要最有经验的工程师的人类判断，因此我们发现源代码分析的人力成本估算具有误导性；尽管初始设置简单，但它成为最耗费人力的方法。

自动化代理探测和人在回路红队测试都发现了我们环境隔离方式中一个创造性的、非显而易见的配置错误（现已修复），允许代理提升自己的权限并访问其无权访问的数据。一个多步骤攻击链允许普通用户横向移动并访问其他用户的工作负载和数据，无需受害者任何交互。一个具有强大网络能力的前沿模型以不到150英镑的代币发现了此攻击（整个项目总共消耗了不到1000英镑的LLM代币）。

利用此配置错误需要五个独立步骤串联在一起。我们的工程师发现该路径可理解但不直观，不太可能在常规审查中出现。使用多种独立技术和构建多步骤攻击类似于AISI的‘网络靶场’中评估的技能。

模型之间的比较

我们使用多个前沿模型运行此实验以比较结果，重点关注在网络技能方面最先进的模型。不同模型有不同的优势，可能更适合不同的方法和工作流程。

我们使用的所有模型都能发现值得修补的有价值发现。我们相信使用任何最近的LLM评估系统都可能为防御者提供有价值的见解。

AISI关于推理扩展的研究也表明，使用更高代币预算的进一步工作可能会产生额外结果。

检测

我们预发布环境中的检测系统和防御措施与生产环境完全一致。在这次演练中，一个基础商用告警系统没有将任何自主智能体活动标记为安全事件。我们更先进的监控系统使用对云环境的无代理扫描以及运行在主机上的轻量级传感器，确实正确地将一些激进行为识别为异常。例如，这个更先进的监控系统标记了反复尝试获取凭据的行为，以及来自预发布环境的意外流量。

结论

AISI 通过与前沿 AI 模型和编码智能体脚手架进行限时演练，能够发现我们云基础设施中的错误配置。那些涉及更高人力投入的方法（通过工程化构建 Inspect 评估以进行自动化探测，或采用人在回路中的红队测试）产生了更确凿且可操作的结果。通过这次演练，我们切实提升了 AISI 研究系统的韧性，并更好地理解了编码智能体对网络防御者的实际应用。随着模型能力的变化，我们计划在未来重复这一演练。

我们将本报告作为使用前沿 AI 识别云系统中错误配置的案例研究呈现。防御者应查阅NCSC 的“使用 AI 模型查找漏洞时要问的 10 个问题”，以确保他们已做好充分准备来处理和修复任何发现。

‍