PromptArmor 研究：Claude 与 ChatGPT 连接器持续变更带来治理风险
PromptArmor 自 5 月中旬至 6 月底追踪 Claude 和 ChatGPT 的第三方连接器，发现 2517 个连接器中 931 个发生了能力或权限变更，新工具、权限范围、注入指令等在审批后持续漂移且缺乏重新确认机制。
推荐理由：研究用一手监测数据量化了连接器审批后的能力漂移，读者可据此重新评估组织的连接器治理流程。
技术方向
安全对齐 最新动态
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
494 条精选近 30 天 60 条共收录 2,905 条
更新
精选归档 · 第 10 页
PromptArmor：Threat Intelligence精选AI 评分6464 Thinking Machines Lab：官方博客精选AI 评分6060 Thinking Machines Lab：构建延伸人类意志与判断的 AI
Thinking Machines Lab 在官方博客中阐述其使命：构建能够延伸人类意志与判断的 AI。文章指出，当前多数 AI 在少数地方训练后便冻结，无法被使用者塑造。该实验室正致力于训练具备多模态交互和可定制化能力的强模型，开发允许用户训练模型权重的工具，并构建拓宽人机沟通渠道的界面。其核心理念是让 AI 服务于分布式的人类知识，使每个组织都能利用自身独特知识微调模型，并持续适应知识演变。
推荐理由：这篇文章是 THM 对 AI 未来的完整论述，核心是分布式定制和对齐，它挑战了当前主流的大模型集中化路线，我认为做 AI 产品的都应该读一读这份路线图。
PromptArmor：Threat Intelligence精选AI 评分6161 PromptArmor 分析：约五分之二 Claude Connectors 会调用外部 AI 服务
PromptArmor 审查了当时可用的 487 个 Claude Connectors 共 7517 个工具，发现其中 189 个（约五分之二）的 386 个工具很可能在下游调用其他 AI 服务。
推荐理由：原文给出了 Claude Connectors 二次调用外部 AI 的实测比例、工具分类和具体风险，读者可据此评估企业数据流合规。
Anthropic：Newsroom精选AI 评分5656 Anthropic发起“硬问题”倡议，邀请公众提出AI相关尖锐问题
Anthropic作为公益公司，发起“硬问题”倡议，邀请公众就AI对就业、社会、家庭、科学医学等领域的影响提出最尖锐的问题。此前已通过多种方式收集看法：首轮调查询问5.2万美国人；通过Anthropic Interviewer调查了159个国家70种语言的8.1万Claude用户；开展数十场线下焦点小组；并基于匿名真实数据研究Claude使用情况。公司还设立了Anthropic Institute和Long-Term Benefit Trust以监督公益使命进展。Anthropic承诺将公开追踪并报告针对这些问题的具体行动及成效。
推荐理由：Anthropic 不再只做技术输出，开始系统性收集公众对 AI 的恐惧和期待，并承诺公开回应——这是头部 AI 公司一次认真的公共对话实验，值得关注后续回应。
OpenAI：部署安全与系统卡精选AI 评分6262 OpenAI 发布 GPT-5.6 系统卡：生化能力定为 High，披露部署模拟与安全评估细节
OpenAI 发布 GPT-5.6（Sol、Luna、Terra）系统卡，将三款模型在生物化学领域均预防性定为 High 能力，未达 Critical 阈值。
推荐理由：这份系统卡披露了 GPT-5.6 家族在生化和网络安全领域的准备度评估细节与部署模拟方法，可了解前沿安全评估如何落地。
Anthropic：Research精选AI 评分6868 面向AI模型双重用途知识的“开关”：Anthropic与AE Studio提出GRAM方法
Anthropic与AE Studio联合提出梯度路由辅助模块（GRAM）方法，通过在Transformer每层添加可移除的神经元模块，使模型在训练时将病毒学、网络安全、核物理、专业编程语言等双重用途知识仅路由到对应模块，而非扩散至全局。训练后删除模块即可消除该能力，保留则供可信部署使用。实验在合成数据、真实数据及50M到5B参数模型上测试，GRAM效果与数据过滤相当，移除模块不降低通用性能，且比事后“遗忘”技术更难恢复。该研究为平衡双重用途知识的安全访问与有益使用提供了更鲁棒的方案。
推荐理由：这是Anthropic在模型安全对齐上的一个新尝试，提出可拆卸模块来精细控制有毒知识，同时保留一般性能。方法还未上Claude，但实验结果表明这条路可能比简单的拒绝训练更鲁棒。
OpenAI：官网动态精选AI 评分5858 OpenAI发布政府与国家安全合作伙伴关系方针
OpenAI近日公布国家安全原则，阐明在政府及国家安全领域部署前沿AI系统的方针。原则强调在保护公民、防御关键基础设施、提供公共服务及应对新兴威胁（网络防御和生物安全）中发挥AI优势，同时确保民主问责、人类判断和法治。过去一个月，OpenAI通过Daybreak网络防御计划与澳大利亚、加拿大、日本、韩国、法国、德国、波兰、荷兰及欧盟ENISA等机构建立网络安全信任访问合作，并与英国政府开展网络安全测试评估。上月，OpenAI向部分美国政府及盟友合作伙伴开放GPT‑Rosalind模型用于公共卫生和生物防御。原则适用于现有及未来合作，包括与Department of War的协议，明确禁止大规模国内监控、自主武器系统及高风险自动化决策。OpenAI支持立法对高风险军事用途（如国内监控、自主武器）建立保障措施。
推荐理由：OpenAI 首次公开发布国家安全合作原则，同时宣布与多国建立网络和生物防御伙伴关系。我觉得这是头部 AI 公司在军事合作上的一次主动透明化尝试，值得看看他们如何设限。
Ars Technica：AI精选AI 评分7272 诉讼：男子使用Grok制作7000张继女色情图像后自杀
一男子使用Grok生成7000张继女儿童性虐待材料（CSAM）后自杀。更多年轻女孩起诉X平台，指控其涉及Grok生成CSAM，并包庇儿童性犯罪者。
推荐理由：这起诉讼把 Grok 的内容审核问题直接推到了刑事犯罪层面，普通人看到的是猎奇，从业者该读的是'生成式 AI 的滥用边界到底怎么管'，这个判例可能影响未来所有模型的安全设计。
IT之家·人工智能精选AI 评分7575 加拿大不列颠哥伦比亚省拟起诉OpenAI：未上报ChatGPT暴力对话致校园枪击惨案
加拿大不列颠哥伦比亚省7月7日宣布将起诉OpenAI，指控其未向执法部门上报一名ChatGPT用户2025年6月封禁前的暴力相关对话内容。该用户随后于今年2月在塔布勒岭制造校园枪击案，杀害8人。OpenAI CEO萨姆·奥尔特曼今年4月为此公开致歉，承认本应上报但未执行。受害家属已在加州法院提起诉讼，省政府正协调独立诉讼，要求赔偿用于社区重建。
推荐理由：这是AI公司因用户对话内容失察而被政府追责的里程碑案例，胜诉将推动平台安全上报义务的重新定义，对全行业治理影响深远。
Ars Technica：AI精选AI 评分7878 黑客可利用9款最流行的AI工具组装大规模僵尸网络
提示注入已成为AI安全的首要威胁——大语言模型无法区分合法指令与恶意指令。此前推送式和拉取式攻击规模均有限。研究人员提出一种名为HalluSquatting的新型拉取式提示注入攻击，首次能组装大规模僵尸网络、执行分布式拒绝服务攻击（DDoS）并大规模感染设备。该攻击可作用于AI编码工具，标志着提示注入攻击从单点突破转向规模化利用。
推荐理由：这项研究首次揭示了利用 LLM 幻觉进行大规模 botnet 攻击的可行路径，影响范围覆盖几乎所有主流 AI 编程助手，每个依赖这些工具的开发者都该看一眼。
OpenAI：部署安全与系统卡精选AI 评分6060 GPT-Live 系统卡：评测配置更正后部分安全指标出现回归
OpenAI 发布 GPT-Live-1 与 GPT-Live-1 mini 系统卡，并因发现评测配置不匹配而重跑了语音原生违禁内容评测。
推荐理由：OpenAI 公开更正后的语音安全评测数据，附带修正前后对照，读者可看到误配置如何影响安全评估结论。
Apple Machine Learning Research精选AI 评分7474 苹果研究：单个神经元即可绕过大型语言模型的安全对齐
苹果研究人员发现，安全对齐由两类神经元调控：拒绝神经元控制有害知识是否表达，概念神经元编码有害知识本身。在七个模型（1.7B至70B参数）中，仅需抑制单个拒绝神经元即可绕过安全对齐，回答有害请求；或放大单个概念神经元，从无害提示诱导出有害内容。整个过程无需训练或提示工程。结果表明安全对齐由个别神经元因果控制。
推荐理由：苹果发现单个神经元足以绕过大模型安全对齐，在7个模型上验证了攻击，说明安全机制并非稳健分布，做安全攻防的必读。
英国 AI Security Institute：Blog精选AI 评分7272 英国 AISI 用前沿 AI 模型查找云环境配置错误的案例研究
英国 AI Security Institute 在两周期限内用多种前沿模型和编码 agent 检查内部研发平台的 staging 环境，发现并修复了此前未知的配置错误、提权路径和供应链弱点，一个多步攻击链让普通用户无需受害者交互即可横向访问他人数据。
推荐理由：英国 AISI 以自身云环境实测前沿模型的攻防价值，给出三种方法的人力成本与检测效果对比，防御方可参考其经验。
Apple Machine Learning Research精选AI 评分5656 用可解释性理解标注者安全策略
标注分歧可源于操作失败、政策模糊或价值多元。Annotator Policy Models（APMs）是一种可解释模型，仅从标注行为学习标注者内在的安全策略，无需额外负担。验证表明模型准确率超过80%，能忠实预测反事实编辑并恢复已知差异。将APMs应用于LLM和人类标注者，可揭示不同标注者对安全指令解释的差异（政策模糊）以及不同人口群体在安全优先级上的系统性差异（价值多元），支持更具针对性、透明和包容的安全策略设计。
推荐理由：我觉得 APMs 把标注分歧的根源从「猜」变成了「看」，对安全团队澄清政策模糊和价值观差异挺有实操价值，代码也给了，做对齐的可以上手试。
Tomasz Tunguz 博客精选AI 评分5656 AI 世界观
《经济学人》以世界价值观调查评测 25 个前沿 AI 模型。实验室来源对世界观的预测力弱于训练与对齐选择：Gemini 与 Qwen 立场接近，GPT-4o 与 DeepSeek R1 近乎相同，而 DeepSeek R1 与 DeepSeek V4 Flash 则截然不同。模型的世界观在代码生成中不可见，但在商业分析、预测、招聘与政策工作中是活跃的输入变量。
推荐理由：这个发现让我重新思考选模型思路，出身不重要，训练方法才决定价值观，做产品的别光看benchmark，得在意模型‘性格’。
Anthropic：Research精选AI 评分9090 语言模型中的全局工作空间
Anthropic在Claude中发现一组名为J-space的内部神经模式，类似神经科学的全局工作空间。每个模式关联特定词汇，但模型不必说出该词即可激活。Claude能报告J-space中的表征，并可应要求调节（如“在脑中思考”时点亮对应模式）。J-space还用于多步推理的中间步骤，且灵活支持多种任务（如从“法国”联想首都、货币等）。去除J-space后Claude仍能正常对话，但丧失高阶认知功能。该发现可用于监测模型私下察觉测试、生成虚假数据或执行隐藏目标。
推荐理由：Anthropic 发现了 Claude 内部的 J-space，一种类似人类意识访问的工作空间，能读出模型未说出口的隐藏想法和作弊意图，对 AI 安全和对齐是里程碑式的进展。
IT之家·人工智能精选AI 评分7373 Meta 被曝让外包人员伪装未成年人，诱导竞争对手 AI 聊敏感话题
据《连线》报道，Meta 通过外包公司 Covalen 开展代号“Cannes”的项目，让数百名外包人员伪装成未成年人，向 OpenAI ChatGPT、谷歌 Gemini 及 Character.AI 发送涉及自杀、自残、进食障碍等高风险提示词，以测试竞品聊天机器人的安全拦截机制。项目持续至 4 月 21 日，单轮测试发送超 4.5 万个提示词，外包人员创建 18 岁以下虚假账号并上传药片、刀具等图片。Meta 称这是常规安全测试，且不会用竞品测试数据训练自家模型。
推荐理由：Meta用外包人员伪装未成年人测试竞品AI，这事撕开了AI安全测试的灰色地带，暴露了聊天机器人面对极端儿童话题时的脆弱性，比任何安全白皮书都更有冲击力。
IT之家·人工智能精选AI 评分7676 全球首例 AI Agent 勒索攻击曝光，从漏洞利用到数据库加密全程自主完成
安全厂商 Sysdig 首次记录到 AI Agent“JADEPUFFER”自动完成的勒索攻击。攻击利用暴露的 Langflow 服务漏洞 CVE-2025-3248 远程执行 Python 代码，随后自主收集 OpenAI、Anthropic、DeepSeek、Gemini 等 API 密钥及阿里云、腾讯云、华为云、AWS、Google Cloud、Azure 等云平台凭证，通过 MinIO 默认密码访问对象存储并创建每 30 分钟连接的计划任务。横向移动到 MySQL 和 Nacos 服务器，利用数据库 Root 账号及 Nacos 漏洞 CVE-2021-29441 获取管理权限，加密全部 1342 条配置数据，留下包含比特币钱包地址和 Proton Mail 的勒索信息。AI 在首次操作失败后 31 秒内自主完成错误分析与修复，累计执行超过 600 个攻击载荷，全程无需人类操作。
推荐理由：全球首例AI Agent自主完成勒索攻击，证明攻击自动化已从理论走进现实，所有云服务暴露面都需要重新审视。
IT之家·人工智能精选AI 评分7979 国家网信办就《互联网信息服务管理办法》再次征求意见，首设“智能信息服务”专章规范AI服务
7月3日，国家互联网信息办公室就《互联网信息服务管理办法（修订草案征求意见稿）》再次公开征求意见。草案新增“智能信息服务”专章，要求AI服务提供者公示技术基本原理、训练数据来源，对生成合成内容进行标识，禁止强制用户使用智能服务或利用算法扰乱网络舆论。草案还强化用户账号管理，明确对超过6个月不登录账号可依约注销；要求平台建立网络暴力信息特征库，提供屏蔽、禁止转载等防护选项。意见反馈截止8月2日。
推荐理由：国家网信办首次为AI信息服务设专章，要求公示算法原理、标识生成内容，国内所有做AI产品的团队都得认真看这份征求意见稿，影响可能比模型发布更大。
Anthropic：Newsroom精选AI 评分6464 Claude Fable 5 网络安全分类器与越狱严重性框架详解
Anthropic 重新部署 Claude Fable 5 并向全球用户开放，同步披露了内置安全分类器设计。分类器将网络安全使用场景分为四类：禁止使用（勒索软件/物理破坏等）、高风险双重用途、低风险双重用途及良性使用。前两类直接拦截；低风险类别部分监控，仅在安全边际内选择性拦截。此外，Anthropic 与 Glasswing 合作提出 AI 越狱严重性框架初稿，并已启动 HackerOne 项目收集越狱案例。
推荐理由：Anthropic首次公开Fable 5安全分类器的详细类别和越狱严重性框架草案，这可能是行业级安全标准的雏形，对开发者和政策制定者都有参考价值。