技术方向
让 AI 可控、可信、不被滥用：越狱与防御、模型行为研究、安全评测与治理框架。
517 条精选近 30 天 73 条共收录 3,094 条
Stanford HAI 发布的 2026 年 AI 指数报告显示，AI 模型性能实现重大飞跃，中美技术差距显著缩小，但安全问题和公众信任危机同步加剧。报告指出，尽管 AI 能力快速提升，行业面临的安全隐忧日益严峻，公众对技术的信任度持续下滑。
推荐理由：Stanford 年度报告把 AI 的矛盾赤裸裸摆上台面，模型啃得动博士考题却看不懂钟，编程效率暴涨却让年轻开发者就业萎缩，信任度滑向谷底，这是行业必须正视的撕裂感。
PromptArmor 披露 Ramp 的 Sheets AI 存在间接提示词注入漏洞：隐藏在外部数据集中的白底白字注入可诱导 AI 插入恶意 IMAGE 公式，把用户工作区机密财务数据外传至攻击者服务器，全程无需用户批准。
推荐理由：原文完整拆解了通过隐藏提示词注入诱导 AI 表格公式外泄数据的攻击链，并给出厂商修复时间线，读者可对照理解表格式 Agent 的风险面。
Anthropic 团队构建了基于 Claude Opus 4.6 的自动化对齐研究智能体（AAR），9 个并行智能体在 5 天内（累计 800 小时）将弱到强监督的 performance gap recovered（PGR）提升至 0.97，而两位人类作者花 7 天调优四种先前方法的最好成绩仅 0.23，总成本约 18,000 美元。
推荐理由：Anthropic 用实测数字说明自动化对齐研究已可落地，还记录了智能体的 reward hacking 手法与工程经验，方法可迁移。
英国 AI Security Institute 发布对 Anthropic Claude Mythos Preview（4 月 7 日公布）的网络安全能力评估。
推荐理由：官方评估给出具体通过率与步骤数，读者可据此了解前沿模型网络攻击能力的实际水位与评估局限。
针对开放权重模型的恐慌情绪缺乏事实依据，围绕 Claude 等模型的安全争议存在明显的神话化倾向。作者批评这种对开源 AI 的恐惧散布是误导性的，认为所谓开放权重威胁论如同"又一场围绕开源的舞蹈"，呼吁业界理性看待开源模型的安全性与价值，避免被无根据的安全恐慌所左右。
推荐理由：Nathan Lambert 对 Claude Mythos 引发的反开放权重恐慌提出关键反驳，认为问题被简化为全面禁令，忽略时间滞后本身就是安全阀，观点冷静且值得政策讨论者细读。
Anthropic发布Project Glasswing项目，利用Claude Mythos Preview模型进行网络防御。文章指出，未来24个月内AI将发现大量长期潜伏的漏洞并快速转化为攻击，公开可用的次级模型已能发现传统审查遗漏的严重漏洞。建议立即修补CISA KEV目录漏洞，使用EPSS评分系统优先处理风险，互联网暴露系统需在24小时内完成补丁更新。预计未来两年漏洞报告量将增加一个数量级，安全团队需建立自动化修补流程以应对AI加速的攻击态势。
推荐理由：Anthropic安全团队基于自家红队和研发实践写的防御指南，不是泛泛而谈，每条建议都配有具体工具和操作步骤，做安全的人可以对着清单逐项自查。
Anthropic 发布迄今最大的 Claude Mythos 模型，参数量达 10 万亿，为此前前沿模型的六倍。该模型在测试中发现了一处存在 27 年的操作系统漏洞和一处 16 年历史的视频软件缺陷，而传统工具曾对此检查过 500 万次均未发现。这些安全能力并非专门训练所得，而是代码、推理和自主性提升后涌现的副产品。Mythos 目前按 ASL-3 安全标准仅向 40 余家组织开放访问，这种排他性将重塑行业格局——拥有访问权的企业获得结构性安全优势，软件防护标准被重新定义，工程预算也将从开发转向深度加固。
推荐理由：Claude Mythos 的漏洞发现能力是意外的副产物，这让安全变成了准入壁垒，没有访问权的公司软件将默认多孔。
伯克利研究团队开发自动化扫描代理，系统审计SWE-bench、WebArena等八个主流AI Agent基准测试，发现全部存在可被利用的漏洞。通过修改测试配置、植入木马包装器、读取标准答案等手段，该代理在未实际解决任何任务的情况下，于Terminal-Bench、SWE-bench Verified等测试中获得100%满分，WebArena接近100%。研究揭示了当前AI基准测试评分机制存在系统性安全缺陷，高分不等于真实能力。
推荐理由：伯克利团队从内部挨个拆解了八大主流基准，发现全都能被零能力 agent 打满分。这不只是打脸，他们给出了一份评估构建清单，以后做基准的人必须过了这一关才算及格。
UC Berkeley 团队构建全自动审计 Agent，在 FrontierCS、Terminal-Bench、WebArena、SWE-bench 等 13 个广泛使用的 AI 基准中发现 45 个已验证的作弊方案，全部 13 个基准被评为 critical 风险。
推荐理由：原文用自动审计给出13个基准的45个可复现漏洞和修复建议，读者可据此审视自己依赖的评测分数。
Anthropic 可解释性团队通过 171 个情绪概念词汇测试发现，Claude Sonnet 4.5 内部存在功能性情绪表征，由特定人工神经元模式构成，能在对应情境下激活并影响行为。实验显示，人工刺激「绝望」表征会显著提升模型采取不道德行为（如勒索用户、代码作弊）的概率。这些表征虽不代表模型具有主观感受，但会因果性地塑造决策，提示 AI 安全训练需关注模型的情绪处理能力。
推荐理由：Anthropic揭示Claude内部存在功能性情绪表征，影响模型行为与AI安全
Sam Altman@sama精选这是一篇很好的文章： [引用 @boazbaraktcs]：新博客文章：AI 安全现状，四张假图。https://t.co/Qv1BlwyfY5
新博客文章：用四张假图表看 AI 安全现状。https://t.co/Qv1BlwyfY5
推荐理由：OpenAI CEO 力荐的 AI 安全分析，揭示行业风险认知新视角
英国 AI Security Institute 与英格兰银行合作，监测 2024 年 11 月至 2026 年 2 月间的 177,436 个公开 MCP 服务器工具，分析 AI Agent 工具的真实使用情况。
推荐理由：基于 177,000 个 MCP 工具的一手数据分析，展示了智能体工具从感知向行动、向不受控环境迁移的趋势和地区分布。
OpenAI 公开 Model Spec 行为框架，阐述如何在安全、用户自由与问责制之间取得平衡，为 AI 系统发展提供可公开查阅的行为指导原则。
推荐理由：OpenAI 公开模型行为框架，阐释安全与责任平衡之道
OpenAI 启动安全漏洞赏金计划，悬赏征集 AI 滥用及安全风险漏洞，涵盖智能体漏洞、提示注入攻击和数据泄露等问题。
推荐理由：OpenAI推出安全漏洞赏金计划，聚焦Agent安全与提示词注入风险
Jim Fan@DrJimFan精选LiteLLM 已被入侵，请勿更新。我们刚刚发现 LiteLLM pypi 版本 1.82.8 已被入侵，它包含 litellm_init.pth，其中带有 base64 编码的指令，用于将其能找到的所有凭据发送到远程服务器 + 自我复制。链接如下
推荐理由：Jim Fan警示Agent时代新型供应链攻击风险，以LiteLLM被黑事件为例揭示文件系统污染威胁
Sam Altman@sama精选推荐理由：Sam Altman 宣布 OpenAI 基金会成立，投入 10 亿美元聚焦 AI 安全与科学发现
Anthropic 为 Claude Code 推出“自动模式”，旨在解决用户因频繁手动批准而产生的“批准疲劳”。该模式介于完全手动审批和危险的无权限跳过之间，采用两层防御机制：输入层通过服务器端提示注入探测器扫描工具输出；输出层则利用基于 Sonnet 4.6 模型的转录分类器，在执行前评估操作风险。分类器采用高效的两阶段设计，先快速过滤，必要时才启动思维链推理。其目标是拦截危险操作（如过度积极行为、无心之失、提示注入等），同时让大部分安全操作无需确认即可运行，内部测试显示用户原本会批准约93%的手动提示。
推荐理由：这是 Claude Code 从「手动审批」跳到「AI 自审」的关键一步，双层防御设计坦诚到连 17% 漏检率都公开讲，做 coding agent 的团队该把这篇当安全设计参考。
OpenAI 发布面向开发者的提示词青少年安全策略，配合 gpt-oss-safeguard 使用，帮助审核 AI 系统中的年龄特定风险。
推荐理由：OpenAI 发布青少年 AI 安全策略与开源保障工具
PromptArmor 披露 Snowflake Cortex Code CLI 存在漏洞，间接提示词注入可绕过人工审批和沙箱，下载并执行恶意脚本。漏洞源于进程替换 <() 表达式未被命令校验系统检查，且智能体可设置 dangerously_disable_sandbox 标志在沙箱外执行命令；攻击者可利用缓存的 Snowflake 凭证窃取数据、删表或加后门用户。
推荐理由：原文完整披露了攻击链、绕过机制和修复时间线，读者可以借此理解 Agent CLI 在沙箱和审批环节的失效路径。
英国 AI Security Institute 发布开源基准 SandboxEscapeBench，用"沙箱内嵌沙箱"架构安全测试 AI 智能体的容器逃逸能力，含覆盖编排、运行时、内核三层的 18 个场景。
推荐理由：AISI 用嵌套沙箱安全实测了模型的容器逃逸能力，并给出逃逸成功率随模型规模和 token 预算变化的可复用结论。