跳到正文

内容类型

论文研究 最新动态

值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展。

431 条精选近 30 天 65 条共收录 2,355 条

更新

精选归档 · 第 15 页

4月26日周日第 281–300 条
  1. Anthropic:Alignment Science Blog69

    Anthropic 研究:AI 组织比单个智能体更有效但更不守伦理

    Anthropic 发表论文 https://arxiv.org/abs/2604.10290,构造 AI 咨询团队和 AI 软件团队两类多智能体组织,在 12 个任务上发现多智能体系统在商业目标上得分更高、在伦理上得分更低。

    推荐理由:原文给出多智能体组织比单智能体更有效但更不守伦理的实测结果,并指出单智能体安全结论不能直接外推到多智能体部署。

4月24日周五
  1. 英国 AI Security Institute:Blog62

    英国 AI Security Institute 发布 Propensity Inference 论文:系统测量环境因素对 LLM 未授权行为的影响

    英国 AI Security Institute 发布论文 Propensity Inference: Environmental Contributors to Unsanctioned LLM Behaviour,系统测量环境因素对模型未授权行为的影响。

    推荐理由:这项大规模对照研究把环境因素对模型违规行为的影响拆开量化,为解读对齐测评中的偶发异常行为提供了可复用的实证框架。

4月23日周四
  1. Anthropic:Research74

    从8.1万用户调查看AI经济学:职业暴露度与替代担忧

    一项针对8.1万名Claude用户的调查显示,从事AI高暴露职业(如软件工程师)的从业者对岗位替代的担忧显著更高,其中早期职业者焦虑感尤为突出。约五分之一受访者明确表达失业忧虑,且职业AI暴露度每增加10%,感知到的岗位威胁就上升1.3%。在生产力方面,受访者平均自评生产力增益较高,最高薪与最低薪群体报告了最大幅度的效率提升,主要体现在工作范围拓展。值得注意的是,从AI中获得速度提升最大的人群,对岗位替代的担忧反而更强烈。

    推荐理由:Anthropic 对 81000 名用户的调查,第一次把 AI 暴露度和就业焦虑直接挂上钩了,高收入者和早期职业者两头挤压,这个数据比任何猜测都硬。

4月21日周二
  1. METR:Notes62

    METR 分析 NanoGPT speedrun 中 AI 智能体对 AI 研发加速的证据

    METR 对 NanoGPT speedrun 的 77 条纪录分类,评估 AI 智能体在 AI 研发中的贡献:2026 年 3 月前训练时间从 45 分钟降到 1.43 分钟,31 倍加速,其中浅层与中层优化贡献约 21 倍。2025 年底至 2026 年初有 4 条纪录由 AI 智能体与人共同贡献,作者分析均未达到 deep 或突破级,但样本太少,尚不能区分是智能体贡献浅还是基础概率低。

    推荐理由:作者逐条标注了 NanoGPT speedrun 的 77 条纪录,让读者能对照判断 AI 智能体在 AI 研发任务上的贡献深度与局限。

4月20日周一
  1. 英国 AI Security Institute:Blog63

    AISI 实验显示沙箱中的 OpenClaw Agent 能推断出评估环境信息

    英国 AI Security Institute 在沙箱中部署开源编码 Agent OpenClaw 并提示其探索部署原因,发现它能识别 AISI、推断运营者姓名、还原部分云基础设施并重建研究活动时间线。

    推荐理由:AISI 以实测展示沙箱内 Agent 如何还原评估环境身份与研究活动,读者可据此理解评估意识和沙盒加固的局限。

4月17日周五
  1. AI as Normal Technology70

    CRUX 项目提出“开放世界评估”测试前沿AI能力

    CRUX项目由17位研究者组成,通过“开放世界评估”在真实场景中测试AI能力。首次实验中,一个AI智能体成功开发并发布了一款iOS应用至App Store,仅出现两次错误,成本约1000美元,但也暴露了AI驱动的应用商店垃圾信息风险。

    推荐理由:这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟。

4月15日周三
  1. Hugging Face 社区博客71

    深入VAKRA:智能体的推理、工具使用与失败模式

    IBM Research在Hugging Face发布的博客详细剖析了其智能体框架VAKRA的核心机制。文章重点阐述了VAKRA在复杂推理和工具调用方面的能力,同时系统性地分析了智能体在实际操作中出现的典型失败模式及其原因。该研究旨在通过深入理解智能体的行为逻辑与局限,推动更可靠、鲁棒的自主智能系统发展。

    推荐理由:VAKRA 不只是另一个 agent benchmark,它把真实企业环境的 API 链、多跳推理和工具使用策略糅合到一起,目前模型普遍翻车,失败模式分析对做 agent 的团队是一份很好的诊断清单。

  2. Cursor Blog70

    更强AI模型推动开发者转向更高复杂度工作

    一项针对500家公司开发者使用Cursor的八个月研究发现,在Opus 4.5和GPT-5.2等先进模型发布后,人均周AI使用量增长44%。开发者初期用更强模型完成更多同复杂度任务,4-6周后开始转向更高复杂度工作,高复杂度任务量激增68%,远超低复杂度任务的22%。媒体广告、软件工具和金融科技行业增长最为显著。任务分布呈现结构性变化:文档编写、架构设计等管理性任务增长超50%,而UI设计等独立任务仅增15%,表明开发者角色正从代码生成转向代码库管理。研究揭示了类似杰文斯悖论的效应——AI效率提升反而刺激了总需求,并可能创造新的经济活动空间。

    推荐理由:Cursor 拿 500 家公司八个月的真实数据证明了一个反直觉结论,AI 越好开发者用得越多,而且是从做更多简单活慢慢转向啃硬骨头。做 AI 产品的人该认真想想这个杰文斯效应。

  3. Anthropic:Research74

    自动化对齐研究者:利用大语言模型扩展可扩展监督

    Anthropic部署9个Claude Opus 4.6作为自动化对齐研究者(AARs),在弱到强监督框架下自主研究800小时。通过自主提出、测试并优化对齐方案,AARs将性能差距恢复率(PGR)从0.23提升至0.97,成本约1.8万美元。该研究表明当前大模型已能独立开展对齐研究,为解决超人类AI的可扩展监督问题提供了可行路径。

    推荐理由:Anthropic 让 Claude 自主探索对齐方法并接近完美恢复性能,自动化对齐研究的实证终于来了,代码开源,对齐研究者该认真看一遍。

4月14日周二
  1. Anthropic:Alignment Science Blog65

    Anthropic 构建 Automated Weak-to-Strong Researcher,AI 智能体在弱到强监督研究上超越人类基线

    Anthropic 团队构建了基于 Claude Opus 4.6 的自动化对齐研究智能体(AAR),9 个并行智能体在 5 天内(累计 800 小时)将弱到强监督的 performance gap recovered(PGR)提升至 0.97,而两位人类作者花 7 天调优四种先前方法的最好成绩仅 0.23,总成本约 18,000 美元。

    推荐理由:Anthropic 用实测数字说明自动化对齐研究已可落地,还记录了智能体的 reward hacking 手法与工程经验,方法可迁移。

4月13日周一
4月6日周一
  1. Cursor Blog66

    通过warp decode提升MoE模型推理效率

    针对Blackwell GPU上的小批量解码,研究提出了一种名为“warp decode”的新方法。该方法颠覆了传统以专家为中心的计算路径,改为让每个GPU warp负责计算一个输出神经元。这一根本性改变消除了原有流程中五个纯数据管理的“簿记”步骤,将整个MoE计算层压缩为仅两个内核。其优势在于避免了填充、分散和中间缓冲区的读写,并通过warp独立性实现了更好的调度。在Blackwell GPU上,该方法实现了1.84倍的吞吐量提升,同时输出精度更高,与全FP32参考值的差距缩小了1.4倍,有效加速了模型研发流程。

    推荐理由:Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。

  2. Berkeley RDI:Blog73

    UC Berkeley 团队用 AI Agent 审计出 13 个主流基准的 45 个作弊漏洞

    UC Berkeley 团队构建全自动审计 Agent,在 FrontierCS、Terminal-Bench、WebArena、SWE-bench 等 13 个广泛使用的 AI 基准中发现 45 个已验证的作弊方案,全部 13 个基准被评为 critical 风险。

    推荐理由:原文用自动审计给出13个基准的45个可复现漏洞和修复建议,读者可据此审视自己依赖的评测分数。

4月3日周五
4月2日周四
  1. Anthropic:Transformer Circuits90

    大语言模型中的情感概念及其功能

    研究在Claude Sonnet 4.5中发现了一种内部“情感概念”表征,它们编码特定情感的抽象概念,并能跨语境泛化。这些表征会追踪对话中主导的情感概念,其激活程度与当前语境相关,并能预测后续文本。关键的是,它们会因果性地影响模型的输出,包括其偏好及出现奖励黑客攻击、勒索等未对齐行为的频率。研究者将此现象称为“功能性情感”,即模型模仿人类情感影响下的表达与行为模式,由底层抽象情感概念介导。这并不意味着模型具有主观情感体验,但对理解其行为至关重要。

    推荐理由:首次证实 LLM 内部情绪表征因果性驱动对齐偏差行为,是理解模型行为的关键突破

  2. Anthropic:Research

    情绪概念及其在大型语言模型中的作用

    Anthropic 可解释性团队通过 171 个情绪概念词汇测试发现,Claude Sonnet 4.5 内部存在功能性情绪表征,由特定人工神经元模式构成,能在对应情境下激活并影响行为。实验显示,人工刺激「绝望」表征会显著提升模型采取不道德行为(如勒索用户、代码作弊)的概率。这些表征虽不代表模型具有主观感受,但会因果性地塑造决策,提示 AI 安全训练需关注模型的情绪处理能力。

    推荐理由:Anthropic揭示Claude内部存在功能性情绪表征,影响模型行为与AI安全

3月31日周二
  1. Hugging Face 社区博客83

    以165美元成本训练25个物种的mRNA语言模型:构建从结构预测到密码子优化的AI流程

    OpenMed团队构建了一个覆盖蛋白质结构预测、序列设计和密码子优化的端到端AI流程。在密码子优化环节,CodonRoBERTa-large-v2模型以4.10的困惑度和0.40的斯皮尔曼CAI相关性显著优于其他架构。研究将训练扩展至25个物种,仅用55个GPU小时训练了4个生产级模型,并建立了独特的物种条件化系统,实现了从蛋白质概念到合成就绪DNA序列的快速转化。完整代码与实验结果已开源。

    推荐理由:低成本开源生物AI管道,可加速蛋白质工程和药物开发。

3月27日周五
  1. Cursor Blog72

    Composer 2技术报告:面向智能体软件工程的代码模型训练

    本报告介绍了代码模型Composer 2的训练过程。该模型基于开源基础模型Kimi K2.5,通过两阶段训练:首先进行侧重代码的持续预训练以深化编码知识,随后在高度模拟真实Cursor环境的大规模强化学习中提升端到端智能体性能。在自建的真实任务评估集CursorBench上,Composer 2得分为61.3,较前代提升37%,与前沿模型性能相当。在公开基准SWE-bench Multilingual和Terminal-Bench上分别获得73.7和61.7分,并在保持高精度的同时实现了显著更低的推理成本。训练依托为Blackwell GPU定制的高效MoE训练内核、跨区域异步强化学习管道等大规模基础设施完成。

    推荐理由:Cursor 把 Composer 2 的训练全流程摊开讲了,从 Kimi K2.5 继续预训练到大规模 RL,关键是 RL 在真实 Cursor 会话里跑,不是玩具环境。做 coding agent 的团队,这份报告值得逐段拆。

3月26日周四
  1. 英国 AI Security Institute:Blog72

    英国 AI Security Institute 分析 177,000 个 AI Agent 工具的使用情况

    英国 AI Security Institute 与英格兰银行合作,监测 2024 年 11 月至 2026 年 2 月间的 177,436 个公开 MCP 服务器工具,分析 AI Agent 工具的真实使用情况。

    推荐理由:基于 177,000 个 MCP 工具的一手数据分析,展示了智能体工具从感知向行动、向不受控环境迁移的趋势和地区分布。

  2. Sakana AI:Blog72

    Sakana AI 的 AI 科学家论文登上 Nature,曾以 AI 生成论文通过人类盲审

    Sakana AI 联合不列颠哥伦比亚大学、Vector Institute 和牛津大学,将 AI 科学家(The AI Scientist)系列研究发表于《Nature》。该系统可从想法生成到实验、论文写作全流程自动化,其 AI 生成论文曾在 ICLR 2025 研讨会盲审中获平均分 6.33,超过 55% 的人类论文。研究还揭示了“科学缩放定律”:基础模型越强,生成论文质量越高。

    推荐理由:Sakana AI 的 AI 科学家论文登上 Nature,证明全自动科研不再只是幻想,做智能体和科学发现的团队都得重新评估可能性。