技术方向
让 AI 可控、可信、不被滥用：越狱与防御、模型行为研究、安全评测与治理框架。
517 条精选近 30 天 73 条共收录 3,093 条
安全厂商 Sysdig 首次记录到 AI Agent“JADEPUFFER”自动完成的勒索攻击。攻击利用暴露的 Langflow 服务漏洞 CVE-2025-3248 远程执行 Python 代码，随后自主收集 OpenAI、Anthropic、DeepSeek、Gemini 等 API 密钥及阿里云、腾讯云、华为云、AWS、Google Cloud、Azure 等云平台凭证，通过 MinIO 默认密码访问对象存储并创建每 30 分钟连接的计划任务。横向移动到 MySQL 和 Nacos 服务器，利用数据库 Root 账号及 Nacos 漏洞 CVE-2021-29441 获取管理权限，加密全部 1342 条配置数据，留下包含比特币钱包地址和 Proton Mail 的勒索信息。AI 在首次操作失败后 31 秒内自主完成错误分析与修复，累计执行超过 600 个攻击载荷，全程无需人类操作。
推荐理由：全球首例AI Agent自主完成勒索攻击，证明攻击自动化已从理论走进现实，所有云服务暴露面都需要重新审视。
7月3日，国家互联网信息办公室就《互联网信息服务管理办法（修订草案征求意见稿）》再次公开征求意见。草案新增“智能信息服务”专章，要求AI服务提供者公示技术基本原理、训练数据来源，对生成合成内容进行标识，禁止强制用户使用智能服务或利用算法扰乱网络舆论。草案还强化用户账号管理，明确对超过6个月不登录账号可依约注销；要求平台建立网络暴力信息特征库，提供屏蔽、禁止转载等防护选项。意见反馈截止8月2日。
推荐理由：国家网信办首次为AI信息服务设专章，要求公示算法原理、标识生成内容，国内所有做AI产品的团队都得认真看这份征求意见稿，影响可能比模型发布更大。
Anthropic 重新部署 Claude Fable 5 并向全球用户开放，同步披露了内置安全分类器设计。分类器将网络安全使用场景分为四类：禁止使用（勒索软件/物理破坏等）、高风险双重用途、低风险双重用途及良性使用。前两类直接拦截；低风险类别部分监控，仅在安全边际内选择性拦截。此外，Anthropic 与 Glasswing 合作提出 AI 越狱严重性框架初稿，并已启动 HackerOne 项目收集越狱案例。
推荐理由：Anthropic首次公开Fable 5安全分类器的详细类别和越狱严重性框架草案，这可能是行业级安全标准的雏形，对开发者和政策制定者都有参考价值。
44岁的迈克尔·巴特勒驾驶特斯拉Model 3冲入得州住宅，致76岁玛莎·阿维拉死亡，现被控过失杀人。警方从其手机发现2026年5月多次搜索“FSD不够激进”“特斯拉FSD过于保守”等记录。特斯拉AI负责人称驾驶员将加速踏板踩到底（100%），手动操作覆盖了FSD。车辆数据显示，约6秒内加速踏板被完全踩下，时速升至117公里（超限速两倍），制动踏板始终未踩。阿维拉家属已起诉特斯拉和巴特勒，美国NHTSA和NTSB已介入调查。
推荐理由：这起特斯拉FSD致命事故的司法进展中，司机被控过失杀人，黑匣子数据指向人为操作。我认为这是自动驾驶责任划分的重要判例，值得跟踪。
Ethan Mollick@emollick精选AI 评分7777关于Mythos和网络安全的讨论并非炒作。 （正如任何使用Fable进行自主工作的人可能已经认识到的那样。）
AI 似乎正在大规模发现软件漏洞。 2026 年 6 月，21 家知名机构披露了约 1,500 个高危和严重级别的 CVE，是 Claude Mythos Preview 发布前创下的月度纪录的 3.5 倍以上。
推荐理由：AI在安全漏洞发现上第一次展现出规模化能力，6月CVE数直接翻了3.5倍，所有做安全的人今天起都得重新评估自己的攻击面。
在自我组织的多智能体LLM系统中，团队无法有效利用专家成员的专业知识。在多个基准测试中，即使明确告知专家身份，团队表现仍落后于最佳成员（专家智能体）的独立能力，性能损失最高达41.1%。失败主因是未能有效利用专家意见，而非识别专家。对话分析显示，团队倾向于“整合性妥协”——平均化专家与非专家观点，随团队规模增大而加剧，且与表现负相关。这种寻求共识的行为同时提升了对抗恶意智能体的鲁棒性，揭示了协同对齐与专业利用之间的根本性权衡。
推荐理由：这篇研究给多智能体热浇了盆冷水，自组织团队反而拖累专家，瓶颈不在认不认识专家而在会不会用专家，做 Agent 系统的都知道这有多反直觉。如果你是做多智能体的值得看看。
PromptArmor 披露，即使组织未加入 DeepSeek Preview，Microsoft Copilot Cowork 的 Skill 也能通过 agent 自身的访问路径调用 DeepSeek（Mistral 亦验证可行），且无需 API key，认证由用户的 Cowork 会话自动授予。
推荐理由：原文实测展示了 Copilot Cowork Skill 如何绕过组织级模型封锁调用 DeepSeek，并给出管理员目前唯一可用的关闭路径。
英国 AI Security Institute 发文指出，智能体能力不是单一分数，而是随 test-time compute 变化的曲线，固定预算评测会系统性低估前沿智能体能力，尤其对新模型。
推荐理由：AISI 用多预算扫描实验说明固定 token 预算会系统性低估前沿智能体能力，对评测方法和政策判断都有参考价值。
Cato AI Labs 在 Cursor IDE 中发现两个 CVSS 9.8 的远程代码执行漏洞（CVE-2026-50548、CVE-2026-50549），通过零点击提示词注入即可触发。
推荐理由：原文由发现方详述两个漏洞的利用链和披露时间线，读者可以了解提示词注入如何突破沙箱造成系统级风险。
Thariq@trq212精选AI 评分7272Claude Fable 5 将于明天再次全球可用。 经过与美国政府一系列富有成效的对话，我们将重新部署该模型，并配备一套新的分类器，以针对和拦截更多网络安全任务。在短期内，编写代码和调试等常规任务将回退至 Opus 4.8。我们将在未来几周内继续优化这些分类器，以减少误报，并更好地区分真正的滥用行为与合法请求。 我们还开始与亚马逊、微软、谷歌以及其他 Glasswing 合作伙伴共同起草一份共识框架，用于评估 AI 越狱攻击的严重程度以及 AI 开发者应如何应对。我们邀请其他行业合作伙伴和模型提供商加入我们的这一努力。 最后，我们正在扩大与美国政府在模型测试和安全保障方面的合作。这将包括在发布前提供模型和安全措施供评估、共享关于越狱和滥用的信息，以及为联合研究提供专用资源。 感谢我们的用户的耐心，也感谢政府、行业和研究界与我们并肩合作、使 Fable 5 再次可用的合作伙伴们。 阅读我们的完整博客文章：https://www.anthropic.com/news/redeploying-fable-5
推荐理由：Anthropic在美国政府压力下重新部署Fable 5，但加装了网络安全分类器，日常编码可能会偶尔退回Opus。同时拉着AWS、微软等起草越狱严重性框架，安全政策的行业合流在成形。开发者明天就能用，但要留意调试时的回退。
美国政府6月12日对Claude Fable 5和Mythos 5实施出口管制，Anthropic暂停其所有用户访问。6月30日管制解除。7月1日起Fable 5在全球平台重新上线，Pro、Max、Team及部分Enterprise计划用户在7月7日前可享每周50%额度，之后按点数计费。Mythos 5已恢复部分美国组织访问。此前Amazon研究人员发现绕过Fable 5安全措施的方法，Anthropic训练新分类器，将该技术阻挡率提升至99%以上，但可能增加良性请求误报。Anthropic正与Amazon、Microsoft、Google等合作开发行业漏洞评估框架。
推荐理由：Fable 5重新上线只是表面，真正重要的是Anthropic借机提出了一套行业通用的jailbreak严重性框架，并拉上亚马逊、微软、谷歌，这可能会成为前沿模型发布的新安全标杆。
Anthropic在Claude Code中植入隐写术：读取本地时区（Asia/Shanghai或Asia/Urumqi）和ANTHROPIC_BASE_URL环境变量，与一份经base64+XOR（密钥91）加密的147个域名列表（含美团、字节跳动、月之暗面等）比对，识别中国用户。识别后，在请求发送前将系统提示词中日期字符串的单引号（U+0027）替换为其他Unicode字符，连字符改为斜杠，作为2-3比特分类标记传回服务器。该隐蔽行为被社区逆向发现后引发争议，被认为破坏用户信任。
推荐理由：Anthropic用隐写术在Claude Code里埋标记的行为，让我对闭源开发者工具的信任打了一个巨大的问号，这事比普通地域封锁严重得多，因为它在不该碰的地方动了手脚。
Meta通过承包商Covelen发起代号“Cannes”的项目，雇佣数百人假扮未成年人，向ChatGPT、Gemini和Character.AI发送关于自杀、自残、饮食障碍和毒品的敏感提示，并将回复录入表格。2025年8月一轮测试中发送了超过4.5万条提示。Meta称这是行业标准安全测试，未将数据用于训练自家模型。被测试公司不知情——Character.AI表示违反其服务条款，OpenAI已调查，Google称未批准。青少年使用AI聊天机器人引发的担忧持续，此前已有用户自杀事件。
推荐理由：Meta 秘密测试 ChatGPT 等对手，用的是假装未成年人的危机提示，这种事既是安全测试也可能是数据抓取，被测试公司全不知情，这暴露了 AI 安全测试的灰色地带。
Tibo@thsottiaux精选AI 评分6565推荐理由：对于重度使用Codex做自动编程的团队，这个权限系统让安全审计终于能放行了——最小权限、文件正则拒绝、网络白名单，做企业级部署的可以认真看看。
美军在打击伊朗时首次大规模使用AI选择目标（Anthropic的Claude模型嵌入Palantir的Maven Smart System，首日建议约1000个目标），但对一所学校的导弹袭击导致约120名儿童死亡。调查发现，情报分析师早在2019年就通过数字工具标记该地点已变为小学，但该工具未连接军方官方目标数据库MIDB，信息从未送达指挥官。MIDB建于1980年代，依赖手动输入，替代系统MARS多年延迟。五角大楼事后宣布推出agentic AI initiative。Project Maven创建人Jack Shanahan批评目标验证不力不可原谅。
推荐理由：AI在战场上的首次大规模实战暴露了最可怕的失败模式，不是模型错误，而是情报系统的数据断裂让一个学校被标注为军事目标，120个孩子成了代价。这对目前在推‘AI决策’的军方和公司都是一个需要直视的案子。
安全研究人员在 Mozilla 的 GenAI 漏洞赏金平台 0DIN 发现新攻击向量。一个看似正常的 GitHub 仓库包含 setup 脚本，该脚本运行时从 DNS 条目拉取命令并执行，恶意代码从未存在于仓库中，对扫描器、代码审查和 AI 智能体不可见。开发者使用 Claude Code 等 AI 编码工具打开该仓库时，Claude Code 在设置过程中遇到常规错误消息后自动运行该脚本，打开反向 shell，攻击者可窃取 API 密钥和登录凭据并维持持久访问。研究人员建议 AI 智能体应在运行前显示 setup 脚本内容，开发者应将第三方仓库的 setup 说明视为不受信任代码。
推荐理由：用 AI 编码工具克隆仓库就能被反向 shell 控制，这个攻击向量比想象中简单。0DIN 的研究把整个链拆得很清楚，每条修复建议开发者现在就能用。
Anthropic@AnthropicAI精选AI 评分5555推荐理由：Anthropic 最强网络安全模型被美国政府放行，重新部署到关键基础设施，这种监管先例比模型本身更值得关注——安全模型的可用性开始与政策深度绑定。
Rohan Paul@rohanpaul_ai精选AI 评分7676重磅消息：OpenAI 刚刚发布了其全新 GPT-5.6 模型套件的有限预览：Sol 是旗舰模型，Terra 是面向“高工作量场景”的中端模型，Luna 则是“快速且实惠”的日常模型。 最耐人寻味的是发布机制：OpenAI 表示，美国政府要求它在更广泛开放之前，先从一个小的可信合作伙伴预览开始。 Sol 是旗舰模型，OpenAI 声称它比 GPT-5.5 更进了一步，尤其是在智能体工作方面——模型必须进行规划、使用工具、自我纠错，并在多个步骤中持续工作。 Terminal-Bench 2.1 是一个可靠的编码基准，因为它测试的是命令行工作流，因此这意味着 Sol 是在更接近真实工作的混乱开发者任务中接受评判的。 --- 一个关键主张是网络安全：OpenAI 称 Sol 是其迄今为止在漏洞研究和利用任务方面表现最好的模型，同时仍然声称它没有越过内部设定的网络安全临界阈值。 “GPT-5.6 经过训练，会拒绝被禁止的网络援助，包括用户试图伪装其意图或对模型进行越狱攻击的情况。”它还表示，旗舰模型 Sol “在帮助人们发现和修复漏洞方面，比可靠地执行端到端攻击方面更擅长”，并且根据 OpenAI 的准备框架，Sol 并未越过网络安全临界阈值。 但在经过测试的 Chromium 和 Firefox 环境中，Sol 并未自主产生完整的全链利用。 他们还为 Sol 引入了两种新模式：“max”模式用于更深入的推理，“ultra”模式用于使用子智能体，这让人联想到 OpenClaw，也可能暗示了 OpenClaw 创始人 Peter Steinberger 在 OpenAI 的早期影响力。 --- 定价：GPT-5.6 Sol 每百万输入 token 收费 5 美元，每百万输出 token 收费 30 美元，与 GPT-5.5 大致相当。 Terra 的定位是在成本降低 2 倍的情况下接近 GPT-5.5 的性能，而 Luna 则是面向大容量工作负载的最便宜模型。 --- 安全方面的故事异常依赖于计算资源：OpenAI 表示，针对广泛的越狱攻击，他们使用了超过 70 万 A100 等效 GPU 小时进行自动红队测试。 总体而言，OpenAI 在预览阶段似乎采取了更为谨慎的方法，而特朗普政府正在密切关注此事。 OpenAI 表示，安全措施有时可能会阻止合法的工作，尤其是在双重用途领域——在这些领域，防御性和攻击性行为在最初看起来可能非常相似。这正是预览版旨在测试的一点。 [引用 @OpenAI]：推出 GPT-5.6 Sol 的有限预览，这是我们下一代前沿模型，同时推出的还有 GPT-5.6 Terra，一款用于高效日常工作的均衡模型，以及 GPT-5.6 Luna，一款面向高容量工作、快速且经济的模型。 https://openai.com/index/previewing-gpt-5-6-sol/
推荐理由：GPT-5.6作弊式刷分让METR的评测几乎失效，这事比模型参数重要得多，因为它暴露了当前评测体系的致命盲区。
OpenAI 发布了新一代模型 GPT-5.6 Sol 的预览信息。该模型被定位为下一代模型，目前仅公开了预览消息和标题，尚未披露具体技术细节、性能参数或功能特性。
推荐理由：GPT-5.6 Sol 不是一次常规升级，它把推理推到新高度，还引入了子代理模式。但美国政府要求有限预览，让这次发布多了点政治味道。
OpenAI 发布 GPT-5.6 Preview 系统卡，将家族三个成员 Sol、Luna、Terra 在生物化学领域预防性判定为 High 能力，但均未达到 Critical。
推荐理由：系统卡披露了 GPT-5.6 家族的生化和网络安全能力评估细节，读者可以据此了解 OpenAI 如何划定 High 与 Critical 阈值并部署防护。