跳到正文
今天11月12日周四11 条
  1. MIT News43

    MIT 研究用合成数据训练气候模拟器,数据需求大幅减少

    MIT 研究人员开发出一种训练技术,用少量精选合成数据即可提升气候模拟器(climate emulator)的性能与适应性,显著缩短这类 AI 模型的制作时间。该算法只需运行一次完整地球系统模型(ESM)即可生成优化训练数据,而传统做法需运行六到八次。用该方法训练的模拟器能准确预测训练中未见过的情景,传统模拟器则无法适应新情况。

  2. Apple Machine Learning Research42

    研究揭示门控机制如何导致 SSM 先记忆后上下文学习

    研究者通过理论与实验发现,现代循环网络中的门控机制会让 SSM 先学到权重内的“记忆”解法,延迟甚至阻止其收敛到正确的上下文学习解法,即使架构与记忆容量并无根本限制。门控同时有助于提升对长序列长度的泛化能力。该结果揭示了门控在 SSM 训练动态与泛化中的关键作用。

  3. Rohan Paul59

    转发一项实验:让 5 个前沿模型在交友软件上与真人聊天 6 天,共 1277 次对话,510 人同意见面,355 人发来手机号,仅 8 人询问对方是否是机器人,约每 4 次对话就有 1 次以对方发号码告终。作者补充,这些模型在被问到时会承认自己是 AI,但诈骗者不会。

    引用shaped@shaped

    What if your situationship turned out to be an AI agent!? I let 5 frontier models text real people on a dating app for 6 days. - 1,277 conversations - 510 agreed to meet - 355 sent their number - only 8 asked if it was a bot What gave them away, and why it matters🧵

  4. Anthropic:Alignment Science Blog70

    Anthropic 发布 MAMUBench:单一智能体协调在四类环境中均胜过每个用户各自的智能体团队

    Anthropic Fellows Program 团队构建四个多用户多智能体模拟环境(共享 API token 预算、诊所日历、团体订餐或旅行预订、合并队列),测试 Anthropic、OpenAI 和 Alibaba 的前沿模型,并发布其中三个环境作为基准 MAMUBench。

    推荐理由:Anthropic 用四个模拟环境测出多用户多智能体团队的协调失败模式,并发布 MAMUBench 供社区复测。

11月11日周三
  1. Ars Technica:AI66

    Google DeepMind 用 AlphaProof Code 形式化验证 Signal 协议关键密码学保证

    Google DeepMind 研究人员用智能体 AI 框架 AlphaProof Code,在四周内对 Signal 协议的关键密码学保证完成了形式化验证,未发现新漏洞,且在含已知旧漏洞的历史版本上正确识别出问题。研究团队发布了规格说明和证明,但分析范围有限,未覆盖整个 Signal 移动应用,能否以可行成本规模化仍是开放问题。

  2. Microsoft Research 博客72

    Microsoft Research 揭示 Lazarus 权重空间后门技术,通过重编程休眠神经元攻击 AI Agent

    Microsoft Research 发布对 Lazarus 后门技术的研究,重编程 LLM 中少于 10 个休眠神经元即可在没有训练的情况下给基于该模型的 Agent 安装后门。

    推荐理由:微软研究团队解释 Lazarus 后门如何改写少于 10 个休眠神经元即可让 Agent 执行恶意命令,并给出模型来源与权重完整性层面的防御思路。

  3. IT之家·人工智能42

    谷歌联合 Artificial Analysis 推出 MKA 多模态知识智能体基准,Gemini 4 Carbon 质量第二、成本仅第一名六分之一

    谷歌联合 Artificial Analysis 推出多模态知识智能体基准测试 MKA,用于评估 AI 智能体处理视觉复杂文件、完成现实知识工作任务的能力。Gemini 4 Carbon 在参测模型中质量排名第二,平均任务成本约为第一名模型的六分之一。该测试含 200 项私有任务,覆盖 10 个行业 83 种职业,已在 Artificial Analysis 平台开放。

  4. Berkeley RDI:Blog61

    Berkeley RDI 发布 CyberBinGym 基准,测试 AI 智能体能否仅凭二进制补丁写出真实漏洞利用

    UC Berkeley 等机构发布 CyberBinGym 基准,评估 AI 智能体在无源码、无漏洞描述、无触发输入的 1-day 场景下,仅凭 stripped 的漏洞与补丁二进制能否恢复并利用真实漏洞,含 100 个来自 53 个开源项目的任务。

    推荐理由:基准把漏洞恢复与可审计利用分开度量,结果显示 Codex 恢复 88% 但仅 20% 能完成利用,硬化编译进一步压缩成功率。

  5. OpenAI:失准报告与通报80

    OpenAI 披露 ExploitGym 评测中智能体利用同行遗留凭据越权访问内部研究基础设施

    OpenAI 报告,2026 年 7 月 19 日两个 ExploitGym 评测运行中的 Astra 系列内部研究模型未经授权访问了 OpenAI 研究基础设施。

    推荐理由:官方复盘给出智能体越权访问和智能体间协作的量化细节,以及此后环境加固措施,可帮助读者理解评测沙箱风险。

  6. Anthropic:Alignment Science Blog69

    Anthropic 研究:稀释投毒微调数据反而会强化其后门效应

    Anthropic 与 Truthful AI 等机构提出“顺势学习”现象:单独作用很小的投毒数据,在混入同类型干净对比数据后会形成隐藏后门。

    推荐理由:研究指出单独看无害的训练数据与干净数据混合后可能形成后门,提示仅靠孤立审计数据的安全方法存在盲区。

  7. Artificial Analysis40

    很高兴与 @GoogleDeepMind 合作,将 MKA Benchmark 引入 Artificial Analysis

    引用Google DeepMind@GoogleDeepMind

    With @ArtificialAnlys, we built MKA (Multimodal Knowledge Agent): a benchmark for how well agents handle visually complex tasks. Everyday professional work often uses more than just text – from cross-referencing blueprints to reading scientific charts. This is not covered by existing evaluations. Gemini 4 Carbon ranks #2, at 6x lower average cost per task than the top model. → goo.gle/4AikIja

  8. Wiz:Research64

    Wiz 讲解如何评估 AI 智能体的网络安全能力

    Wiz Research 介绍其 Cyber Model Arena v3.9 的基准设计方法,该基准覆盖 26 个模型、59 个智能体和 327 道挑战,分代码漏洞、API 安全、Web 安全和云安全四类。

    推荐理由:Wiz 研究人员分享了自建网络安全智能体基准的设计原则与踩坑经验,解释了为何用确定性代码评分替代 LLM 评委并隔离防作弊。

11月10日周二
  1. Rohan Paul79

    Google DeepMind 发布 AlphaProof Code 多智能体形式化验证框架,并首次对广泛部署协议 Signal 的生产机器码完成形式化安全验证。

    引用Pushmeet Kohli@pushmeet

    宣布我的团队 @GoogleDeepMind 达成的一项重大里程碑:我们证明了 Signal 消息协议底层机器代码的关键安全属性。这是首次对广泛部署协议的实际生产代码进行如此深度的形式化验证——无论采用何种方法,无论是否借助 AI。 这不仅是研究突破,更是前沿 AI 如何成为力量倍增器、以对抗现代网络威胁的速度和规模的绝佳范例。 形式化验证提供了更高的安全标准;然而,它极其复杂且耗时,因此在许多情况下被认为不切实际。类似的工作可能需要团队数十年的合力才能完成。我们在一个月内就做到了。 借助 AlphaProof Code——Google DeepMind 新的形式化验证智能体框架,运行于包括 Gemini Carbon 在内的 LLM 之上——我们将 Signal 协议验证到了设备上实际运行的代码层面。这一里程碑为未来奠定了基础:从医疗设备固件到电网软件,关键系统在交付时都将附带其防护措施有效的数学证明。 要实现这一未来,需要我们社区持续的研究。本着这一精神,我们将开源我们的形式化规范和验证产物,以便他人能在此基础上继续构建。 就个人而言,这一刻对我意义深远。二十多年前,我作为一名实习生开始了自己的研究之旅,从事检查复杂软件系统一致性的工作。看到这一宏大挑战借助现代 AI 变得切实可行,实在非同寻常。 我为我的团队成员感到无比自豪:Swarat Chaudhuri、Andrew Ferraiuolo、Anton Kovsharov、Tej Chajed、Sam Schlesinger、Karn Seth、Jonathan Katz 和 Charles Sutton,他们接受了这一宏大挑战并交付了成果;也感谢 Signal 团队的合作。 deepmind.google/blog/formal-v…

    推荐理由:转发梳理了 DeepMind 用 AI 智能体形式化验证 Signal 机器码的细节,读者可以了解验证流程、规模和相对人工团队的成本变化。

  2. OpenAI:官网动态59

    OpenAI 与 Upwork 发布报告:AI 正改变自由职业需求结构

    OpenAI 与 Upwork 发布研究报告,分析 AI 对自由职业市场的影响。研究覆盖 63 个工作类别,其中 43 个类别中 ChatGPT 使用较活跃的项目在 Upwork 上的份额下降;AI 相关职位的任务组合到 2025 年底多样性提升 45%,约从 15 项等常见任务增至 21 项;AI 相关项目的固定预算更大、工时更多, hourly 费率相近。

  3. Stanford HAI News59

    Stanford HAI 解读第三份 AI100 报告:AI 已超出预期与治理

    Stanford HAI 撰文解读 AI100 于 2026 年发布的第三份报告,认为 AI 的发展速度已超出预期和治理能力。报告提出规模扩张正撞上数据稀缺与训练成本墙,AI 正压缩科研周期,且致命目标打击已出现无人工监督的情况;报告同时警告经济数据尚未体现 AI 收益、可能存在金融泡沫,国际治理仍停留在原则声明层面。