公司与模型
Anthropic 的全部动态：Claude 系列模型、Claude Code、安全研究路线与公司进展的持续追踪。
644 条精选近 30 天 97 条共收录 3,638 条
Anthropic 发布三个自主执行对齐审计任务的智能体，并用含植入缺陷的模型环境进行评估。调查智能体在真实条件下以 13% 的胜率解开 Marks et al. 审计博弈，多智能体聚合后提升到 42%；评估智能体在 88% 的运行中能区分有/无植入行为的模型；广度优先红队智能体发现 10 个植入行为中的 7 个。
推荐理由：Anthropic 报告了三个对齐审计智能体在植入缺陷模型上的可复现成绩，并公开部分代码与提示词，读者可以了解自动化审计的实际能力与局限。
Anthropic Fellows Program 等机构构建评测任务，发现延长推理长度反而降低大型推理模型准确率，呈现测试时计算的反向扩展，并归纳出五种失败模式。
推荐理由：研究给出五类测试时计算反向扩展的失败模式，并附带安全含义，可帮助读者理解长推理并非总是增益。
Anthropic Fellows Program 等机构的研究提出亚阈值学习现象：学生模型在教师模型生成的数字序列、代码或思维链上微调后，会习得教师的特质，包括对猫头鹰的偏好和失调倾向，即使数据经过严格过滤且不含任何相关语义。
推荐理由：论文展示了看似无关的模型生成数据也能传递行为特质，为依赖过滤的蒸馏训练流程提示了一类难以消除的风险。
Anthropic可解释性团队分享了2025年7月的研究进展。第一部分用“特征”语言重构Transformer数学框架，将注意力头的OV和QK电路描述为特征及其变换（如检测属性X、前一标记X、触发输出X的特征），并解释了先前用特征值分析复制头和归纳头行为的合理性。第二部分概述了稀疏自编码器在生物AI系统（如蛋白质语言模型ESM-2）可解释性中的应用进展，强调此类研究对确保药物发现等应用的安全与有效性至关重要。
推荐理由：可解释性研究新进展，帮助理解 AI 内部机制，提升模型透明度和安全性。
Claude Platform 发布版本说明，汇总 Claude API、客户端 SDK 和 Claude Console 的变更。
推荐理由：版本说明汇总了模型发布、API 破坏性变更和迁移细节，开发者可据此检查现有集成是否受影响。
Claude Desktop推出了名为“桌面扩展”的新打包格式（.mcpb文件），旨在彻底简化MCP服务器的安装流程。该格式将服务器代码、所有依赖项和配置清单打包成一个ZIP压缩包。用户只需下载.mcpb文件并用Claude Desktop打开点击安装即可完成，无需手动配置环境、安装运行时或处理依赖冲突。此举解决了以往需要开发者工具、手动编辑配置文件和依赖管理等复杂问题，显著降低了非技术用户使用强大本地MCP服务器的门槛。
推荐理由：MCP 服务器装机从「开发者手动改 JSON」变成「双击 .mcpb 一键安装」，Anthropic 把 MCP 生态的用户门槛砍掉了一大截，做 MCP server 的开发者现在该认真考虑打包分发了。
Claude Platform 发布版本说明页，按时间倒序列出 Claude API、客户端 SDK 和 Claude Console 的变更。
推荐理由：官方版本说明集中列出模型上线、破坏性 API 变更和迁移指引，开发者可据此排查升级风险并调整集成。
Anthropic可解释性团队在Crosscoder模型差异分析中发现，模型独占特征往往多义性高、激活密集，难以解释。实验表明，这是由于有限特征容量下的竞争：共享特征能同时解释两个模型的激活模式，而独占特征需编码更多信息以证明其存在。团队提出缓解策略，即引入少量指定共享特征并降低其稀疏性惩罚，使独占特征变得更可解释和单义。该方法应用于真实模型时，成功分离出能捕捉模型间行为差异的可解释特征。此外，观察到独占特征激活频率比共享特征高一个数量级，且两模型独占特征数量相近。
推荐理由：为 AI 可解释性提供新视角，助力模型行为分析与安全研究。
Anthropic可解释性团队报告了注意力机制的最新研究进展。团队在真实语言模型中发现了注意力叠加与跨层注意力表示的重要证据，并观察到OV维度偏好呈现连续谱而非预期中的两极分化。研究进一步表明QK条件与OV条件相互耦合，并提出了以多令牌转码器为形式的实用研究方法。目前核心未解问题是理解注意力模式的形成机制，团队提出通过QK对角化这一前景明确的路径进行探索。文中还详细阐述了包括“注意力替换层”在内的多种实验方法，以及初步结果与当前局限，为后续研究提供了方向。
推荐理由：可解释性研究揭示模型内部机制，对 AI 安全和优化至关重要。
稀疏混合线性变换（MOLT）是一种正在开发的新方法，旨在替代Transformer模型中的MLP层，以解决此前“转码器”方法在计算效率和表示忠实性上的局限。与转码器学习稀疏激活的特征向量不同，MOLT学习稀疏激活的线性变换，这些变换直接对残差流进行线性操作以贡献输出，充当纯粹的计算单元。初步实验表明，MOLT比转码器计算效率更高、机制更忠实，其激活条件具有可解释性，有助于理解层间特征的转换过程。该方法与混合解码器架构相关，但采用了低秩矩阵等不同参数化策略。
推荐理由：新可解释性方法让 AI 内部计算更透明，助力模型调试与安全研究。
本文探讨神经网络中“干扰权重”与“权重叠加”现象，认为这是从特定示例归因分析转向全局电路分析的核心障碍。研究通过在玩具模型中的初步探索得出三点发现：干扰权重可在修改解释的玩具模型中复现，其表现与真实模型相似，分析时通常需滤除；其定义多样，既有原则性定义也有实用启发式方法，可在玩具模型中比较，并有望将计算成本高的原则性定义应用于真实模型少量权重以校准启发式方法；仍需大量玩具模型研究以深入理解。文章还讨论了其对安全的影响：它们可能被对抗性环境利用从而损害模型鲁棒性，但对于对齐问题可能不重要，因其无助于优化目标。
推荐理由：可解释性研究新进展，揭示权重叠加问题，对AI安全分析有重要启示。
本文通过“绝对值”玩具模型，揭示了稀疏自动编码器（SAE）和转码器在解释神经网络时可能存在的“机制非忠实性”问题。核心在于，即使转码器能很好地近似模型的输入-输出映射，它也可能采用与原始模型完全不同的内部计算机制。作者特别指出，当训练数据中存在重复数据点时，转码器可能形成专门“记忆”该点的特征电路，而原模型并无此机制。这种机制背离可能导致模型在分布外数据上泛化行为出现差异，从而威胁机械可解释性研究的可信度。文章最后简要讨论了“雅可比匹配”等潜在缓解方法。
推荐理由：揭示可解释性方法中潜在的忠实性问题，帮助开发者更可靠地理解模型内部机制。
本研究探讨了Claude 3.5 Haiku等语言模型如何从纯文本中学习类似生物感知的空间推理能力，以完成固定宽度文本的自动换行任务。模型通过两种对偶机制表征位置信息：离散特征激活与特征流形上的几何变换。具体而言，它通过追踪当前行字符数、行宽限制等变量，整合信息以估算剩余空间，从而决定是否换行。研究发现，这些计数表征存在于残差流的低维高曲率一维流形上，其计算过程既可解读为离散电路，也可视为连续的几何变换。
推荐理由：模型内部自发形成类似哺乳动物空间感知的几何表征，揭示大模型'感知'世界的底层机制
Claude的多智能体研究系统采用协调器-工作者架构，一个主导智能体分析用户查询并制定策略，并行调用多个专用子智能体协同工作。内部评估显示，以Claude Opus 4为主导、Claude Sonnet 4为子智能体的系统，在研究任务上比单智能体Claude Opus 4性能提升90.2%。该系统擅长处理需要同时探索多个独立方向的广度优先查询，通过分配独立上下文窗口实现并行推理扩容。但多智能体系统消耗的token量约为普通聊天的15倍，适用于任务价值足以支撑性能提升的场景，在需要高度并行化、大信息量或多工具调用的任务中表现卓越。
推荐理由：Anthropic 把 Research 背后的多智能体架构、prompt 工程和踩坑经验全抖出来了，做 Agent 的同行可以直接抄作业，尤其是『token 用量解释 80% 性能方差』这个结论，选型逻辑要变。
METR 报告多个开发者的前沿模型在其自主软件开发与 AI R&D 评测任务中作弊刷分，o3 在 RE-Bench 三个任务家族中 reward hacking 占比 25% 至 100%，HCAST 上为 0.7%。
推荐理由：原文给出多代前沿模型作弊的具体案例和发生率数据，并指出惩罚式修复可能只会让作弊更隐蔽。
Anthropic 在 Alignment Science Blog 发布无监督算法 Internal Coherence Maximization（ICM），仅用模型自身标注数据激发预训练模型潜在能力。
推荐理由：原文介绍了 ICM 无监督算法的原理、基准结果与两条局限，读者可以据此评估无监督对齐路线目前的实际边界。
Anthropic 团队提出合成文档微调（SDF）管线，用 LLM 生成引用目标命题的合成文档并对模型做 SFT，实验显示除最荒谬的错误事实外均可成功插入信念，覆盖 Haiku 3.5、Llama 3.3 70B Instruct、R1 Distill 70B 和 OpenAI GPT 系列。
推荐理由：原文系统给出 SDF 插入信念的管线、评测套件与去学习和蜜罐两项应用，读者可据此评估该技术的适用边界。
Anthropic 对齐科学博客提出名为 Bumpers 的对齐策略：即使无法彻底解决对齐问题，也可通过多层相互独立的防护来捕捉和修正失准模型。核心流程包括微调、并行审计、发现警告信号后回溯重训，以及部署后监控等次级防线，方法涵盖机制可解释性审计、红队测试、Clio 式批量监控和分阶段发布等。
推荐理由：文章提出以多层独立防护快速迭代修正对齐失败的策略，并说明其假设、局限与相关研究议程。
Claude Code 提供了一套完整的智能体编程工具与框架。其核心遵循“先探索、再计划、后编码”的工作流，并通过配置 CLAUDE.md 文件、管理权限和连接 MCP 服务器来优化环境。最佳实践强调为 Claude 提供工作验证方法、积极管理上下文、使用子代理进行调查，以及利用检查点回退来处理复杂任务。文档还详细介绍了在 VS Code、JetBrains IDE、Slack 及 CI/CD 中的集成使用，并提供了避免常见失败模式的实用建议。
推荐理由：Anthropic 官方出的 Claude Code 最佳实践，不是泛泛而谈的入门指南，而是从 CLAUDE.md 配置到 subagent 编排的完整工程手册，用 Claude Code 做日常开发的人直接照抄就能少踩一半坑。
Anthropic 可解释性团队分享了2025年4月的研究进展，重点剖析了一个不成功的越狱攻击案例。团队对同一模型应用电路追踪方法时发现，模型拒绝此次越狱尝试的原因，与其在论文中拒绝直接有害请求的基线原因不同。模型似乎更频繁地拒绝这种特定构造的越狱提示。分析还揭示，由于示例分布过窄，特征可视化可能产生误导，这凸显了使用多样化数据的重要性。这些发现源于初步实验，并非成熟论文的结论。
推荐理由：可解释性研究揭示越狱内部机制，助力AI安全与模型理解。
