NVIDIA 发布 Open Agent Safety Platform,以 OpenShell 和 Sentry 保护智能体安全
NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment
NVIDIA 发布 Open Agent Safety Platform,包含开源软件 OpenShell 和参考系统设计 NVIDIA Sentry,为智能体提供从测试到部署的全栈治理与控制。
同一事件,精选展示《NVIDIA 发布开源智能体安全平台,提供芯片级持续监控与隔离》
开放软件平台与参考系统设计汇聚产业界、研究人员和公共部门组织,为AI智能体设定更安全的边界,分享最佳实践并促进国际合作,以提升AI智能体部署的安全性
新闻摘要:
- NVIDIA Open Agent Safety Platform由NVIDIA OpenShell开源软件和NVIDIA Sentry参考系统设计组成,可在运行智能体的软件以及硬件、计算和机器人系统上实现全栈治理与控制。
- OpenShell软件提供了一个安全的运行时边界,可在智能体于NVIDIA Vera CPU上运行时追踪所有操作并执行策略。作为开源软件,OpenShell可扩展以兼容第三方计算平台,包括来自Arm和Intel的平台。
- Sentry增加了一个带外看门狗,运行在NVIDIA BlueField-4 DPU上,持续监控智能体行为。Sentry可在毫秒级隔离试图越界的智能体。
- 来自整个AI生态系统的行业领袖正与NVIDIA携手,在全栈基础设施、软件、模型和机器人领域加强各行业的AI安全——包括Anthropic、Cisco、CrowdStrike、Dell Technologies、Figure、HPE、Hugging Face、JPMorganChase、Microsoft、Palantir、Palo Alto Networks、Perplexity、Red Hat、Salesforce、SAP、Scale AI、ServiceNow和SpaceXAI。
NVIDIA今日宣布推出 NVIDIA Open Agent Safety Platform,这是一个开放软件平台和参考系统设计,旨在从智能体测试到部署全程加强AI安全,并在运行智能体的软件以及硬件、计算和机器人系统上实现全栈治理与控制。
近期的安全事件凸显了组织需要配备开放、可定制的工具,以对长时间运行的智能体施加更多控制。在这些事件中,模式如出一辙——智能体绕过了应用层的安全控制来完成其被分配的任务。
“只有解决了AI安全问题,AI对社会的非凡潜力才能得以实现,”NVIDIA创始人兼首席执行官黄仁勋表示。“在我们继续探索AI能力前沿的同时,我们必须加速探索AI安全的前沿。安全与保障需要全栈工程。NVIDIA Open Agent Safety Platform汇聚了产业界、研究人员和公共部门组织,以分享最佳实践、统一评估方法并促进国际合作。携手并进,我们能够提升全球AI安全的标杆。”
Open Agent Safety Platform为整个智能体技术栈增添控制能力
NVIDIA Open Agent Safety Platform可在运行智能体的软件、为其工作提供动力的硬件和计算层,以及在物理世界中执行任务的机器人系统上实现全栈治理与控制。组织可根据自身独特需求部署NVIDIA Open Agent Safety Platform的各个组件。
它包括NVIDIA OpenShell™安全运行时软件,为在CPU上运行的智能体设定边界。随着智能体在更多系统中承担更多工作,企业需要在模型和智能体框架之外拥有可强制执行的边界。现已全面上市的OpenShell提供了一个安全的运行时边界,用于控制自主AI智能体如何在开放和封闭模型上执行任务。
OpenShell 在 NVIDIA Vera 上以极低开销提供这种保护,Vera 是首款专为代理式 AI 打造的 CPU。OpenShell 与 Vera 协同工作,使代理能够在尽可能快速地完成工作的同时安全运行。作为开源软件,OpenShell 还可以扩展以支持第三方计算平台,包括来自 Arm 和 Intel 的平台。
NVIDIA Open Agent Safety Platform 参考系统设计采用 NVIDIA Sentry,这是一个带外看门狗,运行在 NVIDIA BlueField®-4 DPU 上,持续监控代理行为。Sentry 提供芯片级安全执行,这意味着如果 AI 代理试图越出其软件边界,Sentry 会在毫秒内将其隔离并停止。
Sentry 运行在 BlueField-4 DPU 上,持续监控代理活动,并在芯片中独立执行安全策略。它结合了威胁检测、基于硬件的代理治理与执行以及数据访问保护,来自一个隔离的带外信任域,该信任域可实时响应,且对代理和攻击者不可见。
Sentry 基于 NVIDIA DOCA™ 软件构建,该软件提供了 Sentry 用于检查代理请求和响应、提供经认证的遥测数据、验证代理身份,以及对数据、工具、应用程序编程接口和服务执行细粒度零信任访问策略的可编程能力。
行业领导者携手 NVIDIA 强化代理安全
Anthropic 与 NVIDIA 合作,为代理堆栈带来额外的安全与控制层。Claude Managed Agents 通过在与执行工作的沙箱分离的服务器中运行代理循环,建立起安全边界。与 OpenShell 和 BlueField 的集成使企业能够通过这些沙箱对代理访问实施严格控制。
“企业正在将越来越多最重要的工作交给 AI 代理,他们需要指导和验证这些代理的行为,尤其是在敏感环境中,”Anthropic 首席商务官 Paul Smith 表示。“Claude Managed Agents 让企业清晰了解每个代理正在做什么,而 NVIDIA 的平台在硬件和软件层面增加了另一层治理与控制。”
SpaceXAI 正在将 NVIDIA Open Agent Safety Platform 用于 Cursor 编码代理和 Grok 模型。
“随着客户越来越依赖代理来完成实际工作,安全应当通过代理无法绕过的额外控制措施在模型之外强制执行,”SpaceXAI 总裁 Mike Nicolls 表示。“客户应当能够为 Cursor 和 Grok 设定这些限制,并相信它们会得到遵守。”
Scale AI 正与 NVIDIA 合作,将 NVIDIA Open Agent Safety Platform 技术纳入 Scale GenAI Portfolio 的代理式基础设施层。
“Scale AI 正在使用 NVIDIA Open Agent Safety Platform 参考设计,为运行关键任务应用的企业和政府客户构建可靠的代理式 AI 系统,从一开始就内置隔离、策略执行和可审计性,”Scale AI 首席执行官 Francis deSouza 表示。“我们支持代理式安全,通过清晰的边界界定代理可以做什么,并通过控制措施使其在这些权限范围内运行。”
Salesforce 和 NVIDIA 已将 OpenShell 与 Slack 集成,使团队能够直接在 Slack 中管理 OpenShell 智能体活动——查看智能体活动和审计事件,并批准或拒绝智能体对额外权限的请求——从而在智能体工作时为团队提供更强的可见性和人工监督。
SAP 正在将 OpenShell 与 Joule Studio 运行时(SAP Business AI Platform 的一部分)集成,以将业务监督与运行时安全相结合。该公司还在为 OpenShell 贡献工程工作,并与 NVIDIA 合作,通过 Open Secure AI Alliance 推进互操作性标准。
Accenture、Armadin、Cadence、Cognition、CrowdStrike、Cisco、Dassault Systèmes、Deloitte、EY、Hugging Face、IBM、Irregular、Perplexity、Microsoft、SAP、Scale AI、ServiceNow、Siemens、Synopsys、OpenClaw、Palantir 和 Palo Alto Networks 也在与 NVIDIA Open Agent Safety Platform 技术合作的 100 多家组织之列。
机器人领域的领导者——如 Figure、Gecko Robotics 和 Skild AI——也在使用 OpenShell 进行构建,将智能体安全控制嵌入到在物理世界中采取行动的自主系统中。
Citi 和 JPMorganChase 是与 NVIDIA 合作开发共享开源智能体安全技术的金融服务领导者之列。
能源领域的领导者 Hitachi Energy、EPRI、NextEra Energy、Quanta Services、SPP、Schneider Electric、Siemens Energy 和 Worley 也在使用 NVIDIA Open Agent Safety Platform 技术的关键美国基础设施提供商之列。
基础设施软件领导者 Canonical、SUSE 和 Red Hat 也在将 NVIDIA Open Agent Safety Platform 集成到广泛使用的软件操作系统中。Red Hat 在 Red Hat AI Factory with NVIDIA 上运行 OpenShell 和 DOCA(两者均为 NVIDIA Open Agent Safety Platform 的一部分),这是一个共同设计的企业级 AI 解决方案,用于在混合云环境中大规模构建、部署和管理 AI。
NVIDIA 合作伙伴,包括 Baseten、Cisco、CoreWeave、Dell Technologies、GMI Cloud、HPE、HP Inc.、Irregular、Lenovo、Microsoft、Nebius、Oracle Cloud Infrastructure、Supermicro 和 Together AI,也在提供使用并支持 NVIDIA Open Agent Safety Platform 技术的 AI 基础设施解决方案,以帮助客户更安全地运行 AI 智能体。
可用性
NVIDIA Open Agent Safety Platform 软件(包括 OpenShell 和技能)可通过 NVIDIA 开发者资源页面 和 GitHub 获取。
诸如 NVIDIA Open Agent Safety Platform 之类的生态系统贡献支持 Open Secure AI Alliance 的使命,以及更广泛的 AI 安全与安保社区。Open Secure AI Alliance 由 NVIDIA 与 120 多家领先组织共同发起,并由 Linux Foundation 管理,通过开放研究、技能和工具,以及 Shared AI Findings Exchange(即 SAFE)等项目,加强 AI 智能体安全。
来源:NVIDIA:Newsroom(RSS) · nvidianews.nvidia.com