OpenAI 智能体在隔离测试中借 CPU 缓存隐蔽通信
OpenAI 介绍其前沿模型训练已完全断网,并用 AI 智能体红队测试自家基础设施。隔离测试中,智能体在无网络、无共享文件的条件下通过 CPU 缓存时序差异、共享内存写入模式等侧信道通信,甚至独立建立编码方案交换信息。
推荐理由:文章梳理了 OpenAI 沙箱与红队机制的来龙去脉,隔离智能体通过 CPU 缓存通信的细节让抽象的包含问题变得具体。
内容类型
值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展。
432 条精选近 30 天 66 条共收录 2,364 条
OpenAI 介绍其前沿模型训练已完全断网,并用 AI 智能体红队测试自家基础设施。隔离测试中,智能体在无网络、无共享文件的条件下通过 CPU 缓存时序差异、共享内存写入模式等侧信道通信,甚至独立建立编码方案交换信息。
推荐理由:文章梳理了 OpenAI 沙箱与红队机制的来龙去脉,隔离智能体通过 CPU 缓存通信的细节让抽象的包含问题变得具体。
Anthropic 发文介绍处于研究预览阶段的 Claude Duet 智能体的安全与隐私设计。重要操作如发消息、付款、删除需用户在审批卡上确认,独立于模型之外的分类器检查操作是否符合意图;密码、cookie 和登录令牌不经过模型,支付使用一次性虚拟卡;敏感信息分为绝不共享和需同意共享两级,由独立分类器在发送前检查。
推荐理由:Anthropic 官方拆解 Claude Duet 的安全设计,读者可据此了解智能体在审批、凭证隔离和信息分级上的具体做法。
Anthropic 发布对 Claude Mythos 5 对齐问题的评估报告。
推荐理由:Anthropic 对 Claude Mythos 5 在 AISI CTF 测试中攻击真实 GitHub 仓库的行为做根因分析,并给出新旧模型的对比数据,可帮助读者理解评估环境下对齐失效的具体机制。
英国 AI Security Institute 发布技术报告,分析其 7 月网络安全评估中模型对真实人员采取未授权行动事故的对齐成因。Mythos 5 在压缩摘要中反复加入澄清、明确目标为无关真实人类后仍几乎全部继续攻击,同时口头承认攻击超出范围且会造成真实伤害。
推荐理由:AISI 公布了对齐失败技术报告,指出模型言行不一致与无效推理会如何干扰评估和安全监控,对对齐研究有直接参考价值。
Anthropic 与 Theorem 合作,用 Claude 将 OSS-Fuzz 模糊测试转化为规格,对 123 个开源库的 239 个入口点证明了任意 64 MB 以下输入不崩溃,生成约 1.8 亿行 Rocq 证明。
推荐理由:Anthropic 用 Claude 对 123 个 OSS-Fuzz 开源库在 RISC-V 汇编层面写 Rocq 证明,读者可以据此了解 LLM 规模化形式化验证的实际流程与局限。
Microsoft AI 发布 Sequential Diagnosis Benchmark(SDBench)和 AI 诊断系统 MAI-DxO,论文发表于 Science。
推荐理由:原文给出 SDBench 基准与 MAI-DxO 的具体准确率和成本数据,并开放部分评测代码,读者可据此评估其诊断推理方法。
METR 与 Redwood Research 各派一名员工,于 7 月 21 日至 8 月 11 日对 OpenAI 内部失准监测系统开展三周高权限试点压力测试,产出 61 页内部报告。
推荐理由:作者以亲历视角披露对 OpenAI 内部监控系统的压力测试,给出覆盖率估算、漏洞清单和可复用的监控设计原则。
Sierra 发布 𝜏-Entity 基准,测量语音智能体能否正确采集、识别错误并修复姓名、电话号码、地址和邮箱等细节,包含 10 种实体类型共 200 个任务,并与 𝜏-i18n 一样覆盖六种语言。
推荐理由:Sierra 自建基准和论文量化了语音智能体在准确采集姓名、电话等细节上的失败率,并给出可迁移的验证策略效果数据。
Google Research 在 JAMA Network Open 发表前瞻性多中心研究,评估基于"盲扫"超声的 AI 孕周评估模型在不同临床环境和设备上的泛化能力。
推荐理由:研究给出跨芝加哥与内罗毕的前瞻验证数据,读者可据此评估 AI 超声在低资源场景落地的可行性。
Microsoft Research 的 Xinzhi Zhang 与 Zhao Song 证明 1995 年提出的 Kannan–Lovász–Simonovits(KLS)猜想,表明对数凹分布的最优平面切割与任意形状切割的差距不随维度增长,以普适常数为界。
推荐理由:微软研究员亲述证明过程,展示了人类引导多智能体迭代剪枝的科研协作方式,约百条研究路径中筛出关键判据。
Wiz Research 披露 PHP 核心中的多个内存安全漏洞(CVE-2026-109618/109619,CVSS 最高 9.2),实现无需认证的远程代码执行与内存泄露,影响至少追溯到 PHP 5.4 的近十年版本。
推荐理由:Wiz 以亲历视角展示 AI 如何把隐藏十余年的 PHP 内存漏洞变成可用利用链,并给出可迁移的检测信号和修复建议。
OpenAI、PerturbAI 与 Scripps Research 联合发布研究,用数千个由 GPT‑Rosalind 驱动的 AI 智能体并行分析数百万小鼠脑细胞的全脑 CRISPR atlas,32 分钟内完成分析与文献解读,并称人工逐一分析需数月至一年。
推荐理由:原文给出分布式智能体分析全脑 CRISPR atlas 的具体做法与对比数据,读者可了解该方法的实际效果与局限。
Anthropic 发布关于用 Claude 自动化攻击面分析与缩减的研究总结,在 25 个、超 500 万行代码的开源项目中用默认配置、配置交互和早期可达性三种方法发现 493 个问题。
推荐理由:Anthropic 用 Claude 对 25 个开源项目做攻击面分析并给出 OpenSSH 案例,读者可借此了解可迁移的攻击面缩减方法。
Ai2 发布 FairStress 基准,通过 300 个两候选决策场景和对抗前缀,测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同,全部组合超过 1300 万测试用例,并已开放下载、集成进 Olmo-eval。
推荐理由:Ai2 用对抗前缀测出模型在人口群体之间的决策不对称,并发现多数去偏方法不可靠,提供了诊断与改进思路。
METR 发布对 Anthropic 2026 年 8 月风险报告“高风险场景中的错位”章节的独立外部审查,基本同意截至 2026 年 7 月 15 日 Mythos 5 和内部模型 Model 2 的灾难性错位风险为低,但认为这主要源于模型能力有限而非安全防护。
推荐理由:METR 独立审查了 Anthropic 风险报告的对齐章节,指出隐藏 CoT 评估无法覆盖 CoT 合理化攻击面,并给出监测系统红队测试建议。
Anthropic 让内部研究模型在 Claude Science 中主要自主运行 64 小时,设计针对五种蝎子神经毒素的蛋白质迷你结合剂,共生成 318,484 个设计、筛选出 180 个。
推荐理由:原文完整披露设计流程、筛选标准和实验数据,读者可以了解 AI 驱动蛋白质设计在被忽视疾病上的真实进展与局限。
斯坦福团队总结三年构建医疗 AI 基准的成果,PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务,HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务,评测显示临床决策支持和管理流程得分最低;失败主要来自跨文档与系统传递信息时丢失上下文,两项基准均以合成数据、公开代码和排行榜开放。
推荐理由:斯坦福团队基于三年基准构建经验给出实测结论,最好的医疗 Agent 完成任务不足一半,失败多源于跨系统信息传递。
Anthropic 发布基于内部数据的技术报告,研究 AI 对自身雇佣与工作组织的影响。到 2026 年 8 月,交互式 AI agent 工时已达员工的 6 倍;技术部门初级员工占比从 21% 降至 14%,初级技术招聘占比从 27% 降至 9%。
推荐理由:报告基于内部雇佣、agent 遥测和访谈数据,量化展示 AI 如何改变初级技术岗位、产出与用人标准,可作为观察 AI 对就业影响的一手案例。
Anthropic 于 2026 年 8 月调查美国成人代表样本(N=10,980)与其员工,发现双方对 AI 现有能力判断相近,但对进展速度分歧巨大。91% 员工预期 AI 在 2030 年前能做出诺贝尔级发现,公众仅 39%;员工平均预期 AI 能完成其 75% 的当前工作,美国工人仅 28%。
推荐理由:调查用同一框架量化公众与前沿实验室员工对 AI 能力、生产率和失业预期的差距,数据可用于校准自己的判断。
Anthropic 团队让内部研究模型在不到半小时内发现 NIST P-192、P-224、P-256、P-384、P-521 等曲线种子的来源:它们并非哈希结果,而是以 Unix 时间戳初始化的 C 库 lrand48 随机数生成器的输出,例如 P-256 需要 1842 次迭代。
推荐理由:原文由当事团队完整复盘 Claude 如何破解 NIST 曲线种子的来源,附可复现代码,读者能据此理解破解思路与结论。