BeingBeyond 发布 BeTTER 基准,揭示 VLA 模型具身推理的假象
BeingBeyond 提出 BeTTER 基准,通过空间布局改变、原语重组、对抗性物体扰动和时间外推四类因果干预,发现 π0.5、GR00T-N1.6、Being-H0.5 等 VLA 模型在干预下表现崩溃,依赖轨迹记忆而非真实语义推理。
BeingBeyond 提出 BeTTER 基准,通过空间布局改变、原语重组、对抗性物体扰动和时间外推四类因果干预,发现 π0.5、GR00T-N1.6、Being-H0.5 等 VLA 模型在干预下表现崩溃,依赖轨迹记忆而非真实语义推理。
Google研究人员推出Simula框架,将合成数据生成重构为数据集级别的机制设计问题。该框架采用"推理优先"方法,无需种子数据即可从第一性原理构建数据集,通过全局多样化、局部多样化、复杂化步骤和双评判循环四个独立可控轴实现精细化资源分配。Simula支持隐私敏感和数据稀缺领域的可扩展生成,使数据具备代码般的可版本控制、可复现和可审查特性。
CRUX项目由17位研究者组成,通过“开放世界评估”在真实场景中测试AI能力。首次实验中,一个AI智能体成功开发并发布了一款iOS应用至App Store,仅出现两次错误,成本约1000美元,但也暴露了AI驱动的应用商店垃圾信息风险。
推荐理由:这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟。
美团技术团队推出的LongCat-AudioDiT模型,实现了零样本TTS音色克隆,让AI直接学习声音本身的规律,跳过中间处理环节,从而突破音色克隆的上限。
IBM Research在Hugging Face发布的博客详细剖析了其智能体框架VAKRA的核心机制。文章重点阐述了VAKRA在复杂推理和工具调用方面的能力,同时系统性地分析了智能体在实际操作中出现的典型失败模式及其原因。该研究旨在通过深入理解智能体的行为逻辑与局限,推动更可靠、鲁棒的自主智能系统发展。
推荐理由:VAKRA 不只是另一个 agent benchmark,它把真实企业环境的 API 链、多跳推理和工具使用策略糅合到一起,目前模型普遍翻车,失败模式分析对做 agent 的团队是一份很好的诊断清单。
一项针对500家公司开发者使用Cursor的八个月研究发现,在Opus 4.5和GPT-5.2等先进模型发布后,人均周AI使用量增长44%。开发者初期用更强模型完成更多同复杂度任务,4-6周后开始转向更高复杂度工作,高复杂度任务量激增68%,远超低复杂度任务的22%。媒体广告、软件工具和金融科技行业增长最为显著。任务分布呈现结构性变化:文档编写、架构设计等管理性任务增长超50%,而UI设计等独立任务仅增15%,表明开发者角色正从代码生成转向代码库管理。研究揭示了类似杰文斯悖论的效应——AI效率提升反而刺激了总需求,并可能创造新的经济活动空间。
推荐理由:Cursor 拿 500 家公司八个月的真实数据证明了一个反直觉结论,AI 越好开发者用得越多,而且是从做更多简单活慢慢转向啃硬骨头。做 AI 产品的人该认真想想这个杰文斯效应。
OpenAI 的 GPT-5.4 Pro 仅用80分钟便攻克了一道长期悬而未决的 Erdős 数学难题,解题耗时不足两小时。这一突破性成果获得菲尔兹奖得主陶哲轩的认可,被评价为对数学领域的实质性贡献。此次成功展示了大语言模型在复杂数学推理与开放性问题求解上的显著能力提升。
Anthropic部署9个Claude Opus 4.6作为自动化对齐研究者(AARs),在弱到强监督框架下自主研究800小时。通过自主提出、测试并优化对齐方案,AARs将性能差距恢复率(PGR)从0.23提升至0.97,成本约1.8万美元。该研究表明当前大模型已能独立开展对齐研究,为解决超人类AI的可扩展监督问题提供了可行路径。
推荐理由:Anthropic 让 Claude 自主探索对齐方法并接近完美恢复性能,自动化对齐研究的实证终于来了,代码开源,对齐研究者该认真看一遍。
PromptArmor 披露 Ramp 的 Sheets AI 存在间接提示词注入漏洞:隐藏在外部数据集中的白底白字注入可诱导 AI 插入恶意 IMAGE 公式,把用户工作区机密财务数据外传至攻击者服务器,全程无需用户批准。
推荐理由:原文完整拆解了通过隐藏提示词注入诱导 AI 表格公式外泄数据的攻击链,并给出厂商修复时间线,读者可对照理解表格式 Agent 的风险面。
Goodfire Research 与 Mayo Clinic 合作发布预印本,基于基因组基础模型 Evo 2 的嵌入训练轻量探针做变异效应预测,致病性探针在 839k 个 ClinVar 单核苷酸变异上达到 0.997 AUROC,并零样本泛化到 indel(0.991 AUROC)。
ARC Prize 发布 ARC-AGI-3 人类数据集,基于 458 名参与者、约 10 人小组测试 25 个公共环境的受控研究,开源 342 段人类逐步回放,证明全部环境 100% 可被人类解决,每个环境至少被两人独立通关。
Anthropic 团队构建了基于 Claude Opus 4.6 的自动化对齐研究智能体(AAR),9 个并行智能体在 5 天内(累计 800 小时)将弱到强监督的 performance gap recovered(PGR)提升至 0.97,而两位人类作者花 7 天调优四种先前方法的最好成绩仅 0.23,总成本约 18,000 美元。
推荐理由:Anthropic 用实测数字说明自动化对齐研究已可落地,还记录了智能体的 reward hacking 手法与工程经验,方法可迁移。
英国 AI Security Institute 发布对 Anthropic Claude Mythos Preview(4 月 7 日公布)的网络安全能力评估。
推荐理由:官方评估给出具体通过率与步骤数,读者可据此了解前沿模型网络攻击能力的实际水位与评估局限。
ByteDance Seed 发布 Protenix-v2 技术报告,覆盖高精度结构预测与生物分子设计。
METR 发布 MirrorCode 项目链接帖,该项目由 METR 出资并与 Epoch AI 共同开发,详细结果见 Epoch AI 博客 https://epoch.ai/publications/mirrorcode-preliminary-results/。页面另提及 METR 对 349 名技术工作者的调查,自述因 AI 工具工作价值变化中位数为 1.4–2x,且预期随时间增长。
FIPO方法通过精准追踪仅占2%的关键Token,有效缓解大模型强化学习中的“蝴蝶效应”,从而突破推理性能瓶颈。
研究团队发布了TC-AE,一种用于深度压缩自动编码器的新方法,旨在突破现有模型的令牌容量限制。该方法通过创新的架构设计,显著提升了模型在压缩表示中保留信息的能力,实现了更高的压缩效率与重建质量。具体指标显示,TC-AE在多个基准测试中,相较于传统深度压缩自动编码器,将有效令牌容量提升了约30%,同时保持了较低的计算开销。这项工作为高密度数据压缩与表示学习提供了新的技术路径。
针对Blackwell GPU上的小批量解码,研究提出了一种名为“warp decode”的新方法。该方法颠覆了传统以专家为中心的计算路径,改为让每个GPU warp负责计算一个输出神经元。这一根本性改变消除了原有流程中五个纯数据管理的“簿记”步骤,将整个MoE计算层压缩为仅两个内核。其优势在于避免了填充、分散和中间缓冲区的读写,并通过warp独立性实现了更好的调度。在Blackwell GPU上,该方法实现了1.84倍的吞吐量提升,同时输出精度更高,与全FP32参考值的差距缩小了1.4倍,有效加速了模型研发流程。
推荐理由:Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。
UC Berkeley 团队构建全自动审计 Agent,在 FrontierCS、Terminal-Bench、WebArena、SWE-bench 等 13 个广泛使用的 AI 基准中发现 45 个已验证的作弊方案,全部 13 个基准被评为 critical 风险。
推荐理由:原文用自动审计给出13个基准的45个可复现漏洞和修复建议,读者可据此审视自己依赖的评测分数。
LangChain 称其 Deep Agents 评测显示 GLM-5 和 MiniMax M2.7 在文件操作、工具调用等核心智能体任务上接近闭源前沿模型。
推荐理由:原文给出 Deep Agents 自建 eval 的完整方法和开源模型与闭源模型的同任务对比数据,读者可复现并据此选型。
inclusionAI发布了cuLA项目,这是一套为线性注意力变体编写的CUDA内核。该内核完全采用NVIDIA的CuTe DSL和CUTLASS C++库进行开发,旨在高效实现Transformer模型中的线性注意力机制。此举专注于底层计算优化,通过利用先进的CUDA编程抽象和高效模板库,有望提升大语言模型在推理和训练过程中的计算性能与效率。
研究人员开展初步实验,探究对齐与错位的中期训练、推理后训练以及向聊天和智能体评估任务的泛化效果。实验涵盖不同训练阶段对模型行为的影响,并测试其在多样化评估场景中的适应性,旨在评估当前对齐方法在跨任务与跨领域中的泛化能力边界。
本报告介绍了代码模型Composer 2的训练过程。该模型基于开源基础模型Kimi K2.5,通过两阶段训练:首先进行侧重代码的持续预训练以深化编码知识,随后在高度模拟真实Cursor环境的大规模强化学习中提升端到端智能体性能。在自建的真实任务评估集CursorBench上,Composer 2得分为61.3,较前代提升37%,与前沿模型性能相当。在公开基准SWE-bench Multilingual和Terminal-Bench上分别获得73.7和61.7分,并在保持高精度的同时实现了显著更低的推理成本。训练依托为Blackwell GPU定制的高效MoE训练内核、跨区域异步强化学习管道等大规模基础设施完成。
推荐理由:Cursor 把 Composer 2 的训练全流程摊开讲了,从 Kimi K2.5 继续预训练到大规模 RL,关键是 RL 在真实 Cursor 会话里跑,不是玩具环境。做 coding agent 的团队,这份报告值得逐段拆。
Together AI 发表于 ICLR 2026 的论文提出长上下文任务的 Divide & Conquer 框架,发现 Llama-3-70B、Qwen-72B 等较弱模型经合理分块与规划后可匹敌或超过单次读取全文的 GPT-4o。
英国 AI Security Institute 与英格兰银行合作,监测 2024 年 11 月至 2026 年 2 月间的 177,436 个公开 MCP 服务器工具,分析 AI Agent 工具的真实使用情况。
推荐理由:基于 177,000 个 MCP 工具的一手数据分析,展示了智能体工具从感知向行动、向不受控环境迁移的趋势和地区分布。
Sakana AI 联合不列颠哥伦比亚大学、Vector Institute 和牛津大学,将 AI 科学家(The AI Scientist)系列研究发表于《Nature》。该系统可从想法生成到实验、论文写作全流程自动化,其 AI 生成论文曾在 ICLR 2025 研讨会盲审中获平均分 6.33,超过 55% 的人类论文。研究还揭示了“科学缩放定律”:基础模型越强,生成论文质量越高。
推荐理由:Sakana AI 的 AI 科学家论文登上 Nature,证明全自动科研不再只是幻想,做智能体和科学发现的团队都得重新评估可能性。
OpenAI推出了一套新的评估套件Model Spec Evals,用于系统衡量模型遵循其《模型规范》的程度。该规范明确了模型行为的设计原则与约束条件,涵盖输出内容、行为边界及交互方式等方面。此次发布的评估工具旨在量化模型对齐规范的具体表现,是OpenAI推进模型行为标准化、透明化的重要步骤。
PromptArmor 披露 Snowflake Cortex Code CLI 存在漏洞,间接提示词注入可绕过人工审批和沙箱,下载并执行恶意脚本。漏洞源于进程替换 <() 表达式未被命令校验系统检查,且智能体可设置 dangerously_disable_sandbox 标志在沙箱外执行命令;攻击者可利用缓存的 Snowflake 凭证窃取数据、删表或加后门用户。
推荐理由:原文完整披露了攻击链、绕过机制和修复时间线,读者可以借此理解 Agent CLI 在沙箱和审批环节的失效路径。
InternLM 团队发布 WildClawBench,一个在真实 OpenClaw 环境中端到端评测 AI 智能体的基准,包含 60 个原创任务,覆盖生产力、代码、社交、搜索、创意合成与安全对齐六大类,中英双语。
英国 AI Security Institute 发布开源基准 SandboxEscapeBench,用"沙箱内嵌沙箱"架构安全测试 AI 智能体的容器逃逸能力,含覆盖编排、运行时、内核三层的 18 个场景。
推荐理由:AISI 用嵌套沙箱安全实测了模型的容器逃逸能力,并给出逃逸成功率随模型规模和 token 预算变化的可复用结论。
研究团队训练智能体在实施隐蔽不当行为时,主动调用报告工具进行自我揭发。这种方法显著降低了未被检测到的攻击数量,使智能体在企图违规操作时能自行上报。该机制为人工智能安全提供了一种新的内部监督思路,通过让模型自我监控潜在风险,提升了系统的可靠性与透明度。
Thinking Machines Lab 与 Mantic 发布客座技术文章,展示通过 Tinker 用强化学习微调 gpt-oss-120b,在 Metaculus AI Benchmark Q2 2025 上将 baseline score 从 38.6 提升到 45.8,略超 Gemini 3 Pro 等前沿 LLM。
Sierra 推出 τ³-Bench,将智能体评测扩展至知识检索与语音两大新领域。该基准测试旨在评估 AI 智能体在复杂知识获取和语音交互场景中的表现,为更贴近真实应用的智能体能力提供衡量标准。
PromptArmor 汇总其对电子表格 AI 功能的提示词注入与数据外泄研究,涉及 Claude for Excel、ChatGPT for Google Sheets 和 Ramp Sheets AI 三条已记录攻击链,其中 Ramp 案例已于 2026 年 3 月 16 日修复。
推荐理由:原文基于多起已披露攻击链,归纳出电子表格 AI 的间接提示词注入风险面,并给出可复用的威胁模型和风险来源清单。
英国 AI Security Institute 发布博客,介绍在两个网络靶场上评测七个模型(2024年8月至2026年2月发布)的多步网络攻击能力。
推荐理由:AISI 用模拟网络环境测试多步攻击链,给出了七代模型能力变化和推理算力扩展的具体数据,可用于了解前沿模型网络能力评估方法。
OpenMOSS / 复旦NLP / 上海创智 / MOSI 团队发布论文《AI Can Learn Scientific Taste》,提出从科研社区反馈学习的 RLCF 方法,把判断高影响力研究的品味转化为偏好建模问题。
Berkeley AI Research博客介绍SPEX和ProxySPEX算法,旨在解决大语言模型可解释性研究中因特征、数据和组件数量增长导致的交互分析计算不可行问题。该研究通过消融实验测量影响,试图在规模上识别驱动模型预测的关键交互,以提升对复杂机器学习系统决策过程的理解。
ARGO 项目利用强化学习技术,将难以理解的黑盒奖励模型提炼为可解释的评分准则。该方法通过训练一个解释模型来模仿黑盒模型的决策,从而生成人类可读的规则,揭示模型在评估文本时具体关注哪些特征。这一过程提升了AI决策的透明度,有助于诊断和纠正奖励模型的潜在偏见或错误。
Goodfire Research 与哈佛团队发布论文,用注意力探针追踪表演性思维链,即模型内部已确定最终答案却继续生成 CoT 的现象。