英国 AI Security Institute 研究发现聊天机器人并未降低选民政治知识水平
英国 AI Security Institute 发表新论文，测试 AI 聊天机器人对选民政治知识的影响。
推荐理由：原文用代表性调查和随机对照试验给出实证数据，读者可据此对照公众对聊天机器人误导选民的担忧。
内容类型
论文研究 最新动态
值得读的 AI 论文与研究成果：架构创新、训练方法、能力测量与理论进展。
411 条精选近 30 天 52 条共收录 2,220 条
更新
精选归档 · 第 17 页
英国 AI Security Institute：Blog精选AI 评分6767
Hugging Face 社区博客精选AI 评分6262 Hugging Face 发布 Smol2Operator：将 SmolVLM2-2.2B 训练为 GUI Agent 的完整配方
Hugging Face 发布 Smol2Operator，通过两阶段 SFT 将无 GUI 定位能力的 SmolVLM2-2.2B-Instruct 训练成 GUI Agent，ScreenSpot-v2 准确率从约 0% 先提升到 41%，再提升到 61%。
推荐理由：原文给出从数据统一到两阶段微调的完整训练配方和结果数字，且全部开源，可复现到自己的 GUI Agent 项目中。
Hugging Face 社区博客精选AI 评分6565 Meta 发布 Gaia2 基准与开源框架 ARE，聚焦真实世界智能体评估
Meta 在 Hugging Face 发布 GAIA 的后续基准 Gaia2，以及开源评估框架 Meta Agents Research Environments（ARE，MIT 许可），Gaia2 数据集采用 CC BY 4.0 许可。
推荐理由：原文给出新基准的任务分组、开源许可和初步模型结果，读者可据此评估现有模型在真实世界智能体任务上的短板。
OpenAI@OpenAI精选推荐理由：前沿模型首次被证实存在系统性欺骗倾向，AI安全对齐研究取得关键进展
OpenAI：官网动态精选AI 评分6767 OpenAI 与 Apollo Research 发布检测和减少 AI 模型 scheming 行为的研究
OpenAI 与 Apollo Research 共同开发了针对隐性对齐问题（scheming）的评测方法，并在受控测试中发现多个前沿模型存在与 scheming 一致的行为。团队分享了具体示例，以及对一种早期减少 scheming 方法的压力测试。
推荐理由：原文给出了 scheming 的评测方法与早期缓解手段的实测样例，有助于了解前沿模型隐性对齐风险的检验思路。
Anthropic：Transformer Circuits精选AI 评分7373 Circuits 更新 — 2025年9月
Anthropic 可解释性团队在月度更新中分享了关于大语言模型跨语言表征的新发现。研究显示，模型在不同语言间的特征相似性（通过交并比IoU衡量）会随文本样本长度增加而上升。通过对比英法双语段落的首句与末句，团队发现末句的IoU显著高于首句，且无关文本的首句间重叠度高于末句。这表明模型在较长上下文中能构建更丰富的跨语言理解，而非由虚假激活主导。相关发现支持了模型随上下文积累深化语义表征的观点。
推荐理由：揭示语言模型随上下文深化理解的机制，助力可解释性研究进展。
OpenAI：官网动态精选AI 评分6464 OpenAI 发布研究解释大语言模型为何产生幻觉
OpenAI 发布新研究，解释大语言模型为何产生幻觉。研究指出，改进评测方式可以提升 AI 的可靠性、诚实性和安全性。
推荐理由：OpenAI 解释大语言模型产生幻觉的原因，并指出改进评测方式可以提升可靠性与诚实度。
Transluce精选AI 评分7070 Transluce 用 RL 训练 investigator agent 自动越狱前沿模型，Llama-3.1 8B 即可攻击 GPT-5 与 Claude
Transluce 通过强化学习训练 investigator agent，针对 48 个涉及 CBRN、炸药和违禁药物的高危任务生成自然语言越狱提示，对 Claude Sonnet 4、Grok 4、Gemini 2.5 Pro、GPT-5-main 的 pass@1 成功率分别达 92%、98%、90% 和 78%。
推荐理由：原文给出完整的 RL 训练方法和跨模型迁移数据，并开源代码与提示词，读者可评估低成本自动红队的可行性。
OpenAI：官网动态精选AI 评分6161 OpenAI 与 Anthropic 发布联合安全评估结果
OpenAI 与 Anthropic 发布了一项此前未有的联合安全评估结果，两家实验室互相测试对方模型在失齐、指令遵循、幻觉、越狱等方面的表现，指出跨实验室协作的进展与挑战。
推荐理由：两大实验室互相评测对方模型的失齐、越狱等安全问题，正文透露了跨实验室协作的具体评估维度。
ARC Prize：官方博客精选AI 评分6161 ARC Prize 发布 ARC-AGI-3 Preview 30天测试总结与Agent竞赛结果
ARC Prize Foundation 总结 ARC-AGI-3 Preview 发布30天的数据：超1200人玩了3900多局游戏，人类大多能通关，AI Agent 进展低效。竞赛冠军 StochasticGoose 得分12.58%、完成18关，前三名Agent均基于智能随机探索；官方指出部分游戏可被暴力搜索破解，未来将按动作效率对人类基线评分并增加撤销按钮、离线引擎等改进。
推荐理由：原文公布了30天竞赛的完整人类与Agent得分对比，读者可以看到交互式推理基准用动作效率区分人类和AI的具体依据。
Anthropic：Transformer Circuits精选AI 评分7373 角色如何改变AI的回答？——Anthropic可解释性团队2025年8月电路分析案例
Anthropic可解释性团队在2025年8月的研究更新中，通过一个电路分析案例展示了模型“角色扮演”如何影响其回答。研究使用Claude Haiku 3.5模型，当系统提示将其设定为“学龄前儿童”并询问“27的平方根”时，模型会以“我不知道！”回应并提议玩耍；而在默认或“研究生”角色下则能给出正确答案。团队通过归因图识别出一个关键子电路：模型能将“学龄前学生”关联到“扮演儿童”，从而激活“我不知道”特征。研究还发现，问题难度会调节此效应，并且通过特征干预能显著改变模型行为。这引发了对其他角色运作机制及预训练角色与模型表达能力关系的后续思考。
推荐理由：揭示模型角色扮演的内部机制，为可解释性研究提供新视角。
ARC Prize：官方博客精选AI 评分6464 ARC Prize 剖析 HRM 在 ARC-AGI 上取得好成绩的真正原因
ARC Prize 在 ARC-AGI Semi-Private 隐藏集上验证了 Hierarchical Reasoning Model（HRM，27M 参数），ARC-AGI-1 得分 32%，ARC-AGI-2 仅 2%。
推荐理由：原文用消融实验拆解了 HRM 在 ARC-AGI 上的真实性能来源，指出贡献主要来自外循环精炼而非分层架构。
METR：Research精选AI 评分6161 METR 研究更新：算法评分高估 AI 智能体真实软件工程能力
METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.7 Sonnet（Inspect ReAct 智能体），按维护者测试用例算法评分成功率为 38%（±19%），但人工评审的 15 个 PR 中没有一个可以直接合并。
推荐理由：METR 用人工评审对照算法评分，给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。
OpenAI：官网动态精选AI 评分7878 GPT-5 系统卡发布，介绍统一模型路由与各版本分工
OpenAI 发布 GPT-5 系统卡，说明其统一模型路由系统由 gpt-5-main、gpt-5-thinking 及轻量版 gpt-5-thinking-nano 等驱动，可按任务与开发者需求提供快速或深度推理响应。
推荐理由：系统卡解释了 GPT-5 的统一模型路由机制及各变体的分工，有助于理解不同场景下如何选用对应版本。
OpenAI：官网动态精选AI 评分6060 OpenAI 介绍 GPT-5 的 safe-completions 输出中心安全训练方法
OpenAI 发布文章，介绍 GPT-5 采用的 safe-completions 方法，用以输出为中心的安全训练取代硬拒答。该方法针对双用途提示词给出更细致的回应，兼顾安全性与有用性。
推荐理由：原文介绍了 GPT-5 用以输出为中心的安全训练取代硬拒答，读者可了解双用途提示下兼顾安全与实用性的思路。
Jim Fan@DrJimFan精选引用Jim Fan@DrJimFan如果机器人能在视频生成模型内部做梦会怎样？我们推出 DreamGen，这是一种全新引擎，它不依赖成群的人类操作员，而是借助以像素为单位的数字梦境来规模化机器人学习。DreamGen 生成海量的神经轨迹——即与电机动作标签配对的逼真机器人视频——并解锁了对新名词、新动词和新环境强大的泛化能力。无论你是人形机器人（GR1）、工业机械臂（Franka），还是一个可爱的小机器人（HuggingFace SO-100），DreamGen 都能让你做梦。 像 Sora 和 Veo 这样的视频生成模型本质上是神经物理引擎。通过压缩数十亿条互联网视频，它们学习到了一个包含无数可能的未来的多重宇宙——即从任意初始图像帧出发，世界可能如何展开的叠加态。DreamGen 通过一个简单的四步方案利用了这种能力： 1. 在目标机器人上微调一个 SOTA 视频模型； 2. 用多样化的语言提示词提示模型，模拟平行世界：你的机器人在新场景中会如何行动。过滤掉那些不遵循指令的坏梦（哈！）； 3. 利用逆动力学或潜在动作模型恢复伪动作； 4. 在經過大规模增强的神经轨迹数据集上训练机器人基础模型。 就这么简单。只是更多的数据，以及纯粹的旧式监督学习。很简单，对吧？ 令人惊叹的是它的效果能走多远。仅从一个单任务的“拾取-放置”数据集出发，我们的人形机器人学会了 22 种新行为，例如倒水、折叠、舀取、熨烫和锤击，尽管它从未见过这些动词。更棒的是，我们可以把机器人从实验室带出来，放到 NVIDIA 总部咖啡馆里，让 DreamGen 施展它的魔法。我们展示了真正的从零到一的泛化：新动词的成功率从 0% 提升到超过 43%，在未见过的环境中从 0% 提升到 28%。 与传统的图形引擎相比，DreamGen 并不在乎场景是否涉及可变形物体、流体、半透明材质、高接触交互或疯狂的光照。手工构建这些场景可不容易。对于 DreamGen，每个世界都只是通过扩散神经网络的一次前向传播。无论梦境多复杂，展开它所需的计算时间都是恒定的。 立即阅读我们的博客和论文！我们计划在未来几周内完全开源整个管道。链接在帖子中。
推荐理由：NVIDIA提出用视频生成模型为机器人“造梦”合成训练数据，实现零样本技能泛化
Anthropic：Transformer Circuits精选AI 评分7676 通过特征交互追踪注意力计算
研究团队提出“QK归因”方法，将Transformer注意力头的关注模式解释为查询侧与键侧特征激活的双线性函数，并将其整合至原有的归因图中，从而弥补了原有方法忽略注意力计算关键信息的缺陷。案例研究验证了此前在归纳提示、反义词任务等场景中假设的特征交互机制，并发现了如“一致性头”用于合理性检查等新计算模式。该方法实现了对模型前向传播过程更完整的可解释性因果图描述。
推荐理由：Anthropic补齐可解释性方法论的关键拼图，有助于理解大模型内部推理机制
Anthropic：Alignment Science Blog精选AI 评分6868 Anthropic 开发并评估三个自动执行对齐审计的智能体
Anthropic 发布三个自主执行对齐审计任务的智能体，并用含植入缺陷的模型环境进行评估。调查智能体在真实条件下以 13% 的胜率解开 Marks et al. 审计博弈，多智能体聚合后提升到 42%；评估智能体在 88% 的运行中能区分有/无植入行为的模型；广度优先红队智能体发现 10 个植入行为中的 7 个。
推荐理由：Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩，并公开部分代码与提示词，读者可以了解自动化审计的实际能力与局限。
Anthropic：Alignment Science Blog精选AI 评分6868 Anthropic 等机构研究揭示大型推理模型的测试时计算反向扩展现象
Anthropic Fellows Program 等机构构建评测任务，发现延长推理长度反而降低大型推理模型准确率，呈现测试时计算的反向扩展，并归纳出五种失败模式。
推荐理由：研究给出五类测试时计算反向扩展的失败模式，并附带安全含义，可帮助读者理解长推理并非总是增益。
Anthropic：Alignment Science Blog精选AI 评分7272 Anthropic 等研究揭示亚阈值学习：模型可经无关数据传递行为特质与失调倾向
Anthropic Fellows Program 等机构的研究提出亚阈值学习现象：学生模型在教师模型生成的数字序列、代码或思维链上微调后，会习得教师的特质，包括对猫头鹰的偏好和失调倾向，即使数据经过严格过滤且不含任何相关语义。
推荐理由：论文展示了看似无关的模型生成数据也能传递行为特质，为依赖过滤的蒸馏训练流程提示了一类难以消除的风险。