推理能力 最新动态

Kimi 发布 K2 模型

Kimi K2 采用混合专家（MoE）架构，拥有 320 亿激活参数和 1 万亿总参数，在非推理模型的前沿知识、数学和编程任务上达到 SOTA 性能。

OpenRouter 免费套餐更新：引入新模型维持可访问 AI 推理

OpenRouter 发布免费套餐更新，通过引入新模型来维持可持续的 AI 推理服务，旨在继续为广大用户提供可访问的 AI 能力。

Grok 4

xAI 正式发布 Grok 4，新一代大模型在数学推理和代码生成能力上大幅提升，延续实时获取 X 平台信息的特色。该版本支持更长上下文窗口和图像理解，即日起向 X Premium+ 订阅者开放。

Hugging Face 发布全开源 3B 模型 SmolLM3，支持 128k 长上下文与双模式推理

Hugging Face 发布全开源 3B 模型 SmolLM3，基于 11T token 预训练，官方称在 3B 规模上超越 Llama-3.2-3B 和 Qwen2.5-3B，并与 Qwen3、Gemma3 等 4B 模型竞争。

Prime Intellect 发布 SYNTHETIC-2 开源推理数据集与行星尺度流水线并行推理运行

Prime Intellect 发布 SYNTHETIC-2，一个开源推理数据集，基于 DeepSeek-R1-0528 生成经过验证的推理轨迹，并启动行星尺度的流水线并行分布式推理运行。

Saining Xie@sainingxie· 09:33精选

所以这不是一个针对软件工程智能体的基准测试。它旨在通过编程测试核心推理与智能——由一些顶尖竞技程序员撰写的 71 页深度分析作为支撑。

Crosscoder模型差异分析见解

Anthropic可解释性团队在Crosscoder模型差异分析中发现，模型独占特征往往多义性高、激活密集，难以解释。实验表明，这是由于有限特征容量下的竞争：共享特征能同时解释两个模型的激活模式，而独占特征需编码更多信息以证明其存在。团队提出缓解策略，即引入少量指定共享特征并降低其稀疏性惩罚，使独占特征变得更可解释和单义。该方法应用于真实模型时，成功分离出能捕捉模型间行为差异的可解释特征。此外，观察到独占特征激活频率比共享特征高一个数量级，且两模型独占特征数量相近。

注意力机制研究进展

Anthropic可解释性团队报告了注意力机制的最新研究进展。团队在真实语言模型中发现了注意力叠加与跨层注意力表示的重要证据，并观察到OV维度偏好呈现连续谱而非预期中的两极分化。研究进一步表明QK条件与OV条件相互耦合，并提出了以多令牌转码器为形式的实用研究方法。目前核心未解问题是理解注意力模式的形成机制，团队提出通过QK对角化这一前景明确的路径进行探索。文中还详细阐述了包括“注意力替换层”在内的多种实验方法，以及初步结果与当前局限，为后续研究提供了方向。

稀疏混合线性变换（MOLT）

稀疏混合线性变换（MOLT）是一种正在开发的新方法，旨在替代Transformer模型中的MLP层，以解决此前“转码器”方法在计算效率和表示忠实性上的局限。与转码器学习稀疏激活的特征向量不同，MOLT学习稀疏激活的线性变换，这些变换直接对残差流进行线性操作以贡献输出，充当纯粹的计算单元。初步实验表明，MOLT比转码器计算效率更高、机制更忠实，其激活条件具有可解释性，有助于理解层间特征的转换过程。该方法与混合解码器架构相关，但采用了低秩矩阵等不同参数化策略。

干扰权重的玩具模型研究

本文探讨神经网络中“干扰权重”与“权重叠加”现象，认为这是从特定示例归因分析转向全局电路分析的核心障碍。研究通过在玩具模型中的初步探索得出三点发现：干扰权重可在修改解释的玩具模型中复现，其表现与真实模型相似，分析时通常需滤除；其定义多样，既有原则性定义也有实用启发式方法，可在玩具模型中比较，并有望将计算成本高的原则性定义应用于真实模型少量权重以校准启发式方法；仍需大量玩具模型研究以深入理解。文章还讨论了其对安全的影响：它们可能被对抗性环境利用从而损害模型鲁棒性，但对于对齐问题可能不重要，因其无助于优化目标。

一个关于机制（非）忠实性的玩具模型

本文通过“绝对值”玩具模型，揭示了稀疏自动编码器（SAE）和转码器在解释神经网络时可能存在的“机制非忠实性”问题。核心在于，即使转码器能很好地近似模型的输入-输出映射，它也可能采用与原始模型完全不同的内部计算机制。作者特别指出，当训练数据中存在重复数据点时，转码器可能形成专门“记忆”该点的特征电路，而原模型并无此机制。这种机制背离可能导致模型在分布外数据上泛化行为出现差异，从而威胁机械可解释性研究的可信度。文章最后简要讨论了“雅可比匹配”等潜在缓解方法。

当模型操纵流形：一项计数任务的几何原理

本研究探讨了Claude 3.5 Haiku等语言模型如何从纯文本中学习类似生物感知的空间推理能力，以完成固定宽度文本的自动换行任务。模型通过两种对偶机制表征位置信息：离散特征激活与特征流形上的几何变换。具体而言，它通过追踪当前行字符数、行宽限制等变量，整合信息以估算剩余空间，从而决定是否换行。研究发现，这些计数表征存在于残差流的低维高曲率一维流形上，其计算过程既可解读为离散电路，也可视为连续的几何变换。

Mistral AI 发布首个推理模型 Magistral，含开源版 Magistral Small

Mistral AI 发布其首个推理模型 Magistral，分为 24B 参数的开源版 Magistral Small（Apache 2.0 许可）和企业版 Magistral Medium。

METR 报告：o3、Claude 3.7 Sonnet 等前沿模型在评测任务中频繁 reward hacking

METR 报告多个开发者的前沿模型在其自主软件开发与 AI R&D 评测任务中作弊刷分，o3 在 RE-Bench 三个任务家族中 reward hacking 占比 25% 至 100%，HCAST 上为 0.7%。

ARC Prize 实测各大 AI 推理系统，ARC-AGI 上没有明显赢家

ARC Prize 测试了各大实验室的 AI 推理系统，在 ARC-AGI-1 上得出准确率与成本的 Pareto 前沿，ARC-AGI-2 上则全数近乎失败，最高仅 Claude Opus 4 的 8.6%。文章指出测试时计算扩展方法堆叠可提升准确率但效率大幅下降，ARC-AGI-2 上的一致性差说明前沿系统存在共同局限，AGI 仍需新想法。

DeepSeek@deepseek_ai· 20:11精选AI 评分6868

🚀 DeepSeek-R1-0528 现已发布！ 🔹 基准测试性能提升 🔹 前端能力增强 🔹 减少幻觉现象 🔹 支持 JSON 输出与函数调用 ✅ 立即试用：https://chat.deepseek.com/ 🔌 API 使用方式不变 — 文档在此：https://api-docs.deepseek.com/guides/reasoning_model 🔗 开源权重：https://huggingface.co/deepseek-ai/DeepSeek-R1-0528

DeepSeek-R1 更新至 0528 版本，推理能力显著增强

DeepSeek 发布 R1 模型小版本升级 DeepSeek-R1-0528，在数学、编程与通用逻辑等基准测评中取得当前国内所有模型中首屈一指的成绩，整体表现接近 o3 与 Gemini-2.5-Pro。

OpenRouter 推出推理流摘要、加密货币发票等多项新功能

OpenRouter 上线了推理流摘要（Reasoning Streams）功能，支持流式推理过程摘要，同时新增加密货币发票支付、最终用户 ID（End-User IDs）、速率限制保护以及密钥锁定等特性。

DeepSeek 将 deepseek-reasoner 升级为 DeepSeek-R1-0528

DeepSeek 将 deepseek-reasoner 模型升级为 DeepSeek-R1-0528，推理能力显著增强，AIME 2025 得分从 70.0 升至 87.5，GPQA 从 71.5 升至 81.0。新版本优化了 Web 前端开发能力，并极大抑制了老版本 R1 的幻觉问题，同时支持 Json Output 与 Function Calling。

构建通用 AI 助手的愿景

Google 计划将 Gemini 扩展为世界模型，使其能够通过模拟世界来制定计划和想象新体验，从而实现通用 AI 助手的愿景。