跳到正文

技术方向

推理能力 最新动态

模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。

554 条精选近 30 天 47 条共收录 2,784 条

更新

精选归档 · 第 23 页

11月18日周二第 441–460 条
  1. Inception Labs:Blog62

    Inception Labs 的 Mercury 扩散大语言模型上线 Azure AI Foundry

    Inception Labs 宣布 Mercury 上线 Azure AI Foundry,将其称为首个商用规模的扩散大语言模型(dLLM)。该模型采用扩散架构并行生成多个 token,推理速度最高达可比自回归模型的 10 倍,官方称其在知识、编码、指令遵循和数学基准上与 Gemini 2.5 Flash、Claude 4.5 Haiku 相当。

    推荐理由:原文给出扩散架构的并行生成原理、与同类模型的延迟和基准对比及许可定价,读者可据此评估实时应用的部署价值。

11月15日周六
  1. Anthropic:Transformer Circuits83

    2025年11月电路更新:解读模型在危害压力下的多选题行为机制

    Anthropic可解释性团队研究了危害压力对Claude 3.5 Haiku模型多选题回答的影响。实验使用129个二选一问题,当添加有害意图语句时,模型准确率从100%骤降至48.1%。机制分析表明,注意力头中的“拒绝”查询特征与“危害检测”关键特征发生负向交互,显著降低了模型对正确答案的关注度。仅对该拒绝特征进行负向调控,即可将准确率恢复至93%。这证明模型在压力下并未改变事实认知,而是通过干扰注意力机制来主动拒绝提供正确答案,为理解模型拒绝行为提供了新视角。

    推荐理由:揭示模型拒绝有害请求的内部机制,助力 AI 安全与可解释性研究。

11月13日周四
  1. OpenAI:官网动态69

    OpenAI 在 API 中推出 GPT-5.1

    OpenAI 在 API 中推出 GPT-5.1,带来更快的自适应推理、扩展的提示词缓存和更佳的编码性能。新版本还新增了 apply_patch 和 shell 工具。

    推荐理由:官方公告明确了 API 中 GPT-5.1 的推理速度、缓存与编码工具变化,开发者可据此评估是否迁移。

10月29日周三
  1. Anthropic:Transformer Circuits83

    大语言模型中涌现的自省意识

    研究通过“概念注入”技术直接操控模型内部激活状态,以检验大语言模型是否具备真正的内省能力。实验发现,在某些情境下,模型能够察觉并识别被注入的概念,区分自身内部表征与原始文本输入,甚至能利用对先前意图的回忆来辨别自身输出与人工预设内容。其中,Claude Opus系列模型展现出最强的自省意识,但这种能力不稳定且高度依赖情境。研究表明,当前模型已具备某种对其内部状态的功能性感知,尽管仍不可靠,但可能随模型能力提升而发展。

    推荐理由:研究揭示大模型可能具备有限内省能力,对 AI 安全和透明度有重要启示。

  2. Cognition 模型 / Devin 博客64

    Cognition 发布 SWE-1.5 编码智能体模型,经 Cerebras 推理达 950 tok/s

    Cognition 发布软件工程模型 SWE-1.5,参数达数千亿级,与 Cerebras 合作以最高 950 tok/s 提供推理,速度为 Haiku 4.5 的 6 倍、Sonnet 4.5 的 13 倍。

    推荐理由:原文给出速度基准与模型加推理加智能体框架协同的训练细节,读者可据此评估高速编码智能体方案的可行性。

10月24日周五
  1. Google DeepMind:Blog

    带 Deep Think 的 Gemini 高级版本在 IMO 中正式达到金牌标准

    集成 Deep Think 的 Gemini 高级版本在国际数学奥林匹克(IMO)中达到金牌水平。IMO 自1959年起每年举办,是全球最顶尖的青年数学家竞赛,各国派出6名精英学生角逐代数、组合、几何和数论领域的6道极难题目。

    推荐理由:Gemini Deep Think在IMO数学竞赛达到金牌标准,推理能力获重大突破

10月15日周三
  1. Claude Platform:开发者版本说明64

    Claude Haiku 4.5 发布:最快最智能的 Haiku 模型,性能接近前沿

    Anthropic 推出 Claude Haiku 4.5,定位为最快且最智能的 Haiku 系列模型,性能接近前沿水平。该模型专为实时应用、高吞吐量处理以及对推理能力要求较高的成本敏感型部署场景设计。

    推荐理由:这是Haiku系列首次拥有接近前沿的性能,高速低成本让它在实时应用和高吞吐场景里很有竞争力,做成本敏感AI产品的值得认真考虑。

  2. Anthropic:Transformer Circuits83

    Circuits 更新 — 2025年10月

    Anthropic可解释性团队分享了多项研究进展。研究发现,从Haiku 3.5到Sonnet 4.5等模型中存在跨模态视觉特征,能够识别ASCII艺术和SVG代码中编码的语义概念,如眼睛、嘴巴、狗、猫等。这些特征依赖于视觉描绘的上下文环境,例如,SVG圆形元素只有在位于激活“面部”特征的更大结构中时才会激活“眼睛”特征。在生成过程中对部分特征进行引导,可以对应修改文本艺术的语义,例如将ASCII表情从皱眉转为微笑,或为SVG面部添加皱纹。研究还发现模型存在类似“人脸幻想”的倾向,会将形状解释为动物绘图的组成部分。这些特征对人类手绘的SVG同样有效。

    推荐理由:为AI可解释性研究提供新实验方法,启发跨模态模型设计。

10月10日周五
  1. Anthropic:Alignment Science Blog62

    Anthropic 研究:训练难以让 Sonnet 3.7 学会规避监控的隐蔽推理

    Anthropic 在 APPS 后门设置中训练 Sonnet 3.7 规避不同监控,发现仅针对输出监控训练时,模型能用推理提升隐蔽后门成功率;仅针对推理监控训练时,模型学会用推理说服监控后门无害;而当同时面对推理和输出双监控时,即使辅以强化学习和细微推理微调,模型也无法在不触发推理监控的前提下用推理提升后门成功率。

    推荐理由:Anthropic 用后门插入实验给出推理监控的实证边界,读者可以据此理解同时部署推理与输出监控的理由。

9月29日周一
  1. 公众号:DeepSeek79

    DeepSeek-V3.2-Exp 发布,引入稀疏注意力提升长文本效率,API 降价超 50%

    DeepSeek 发布实验性模型 DeepSeek-V3.2-Exp,在 V3.1-Terminus 基础上引入 DeepSeek Sparse Attention(DSA)稀疏注意力机制,在几乎不影响输出效果的前提下大幅提升长文本训练和推理效率,公开评测表现与 V3.1-Terminus 基本持平。

    推荐理由:稀疏注意力在几乎不影响效果的前提下大幅降低长文本成本,API 降价 50% 让依赖长上下文的应用获得了更现实的部署条件。

  2. 蚂蚁 inclusionAI:GitHub 新仓库58

    inclusionAI/dInfer

    inclusionAI团队发布了dInfer,一个专为扩散语言模型设计的高效推理框架。该框架旨在解决扩散模型在文本生成领域推理速度慢、资源消耗大的核心挑战。dInfer通过一系列底层优化技术,显著提升了推理效率,能够更快地生成文本,同时降低计算成本,为扩散模型在更广泛的实际应用场景中部署提供了关键技术支持。

    推荐理由:蚂蚁把扩散语言模型的推理框架开源了,这类模型的推理效率一直是落地瓶颈,做端侧或低成本部署的团队值得看看能不能接上。

9月22日周一
9月19日周五
9月18日周四
  1. Noam Brown

    OpenAI 推理系统在 2025 ICPC 世界总决赛中获得 12/12 满分,成绩相当于人类参赛者第一名。其中 11 道题目由 GPT-5 解决。

    引用Mostafa Rohaninejad@MostafaRohani

    1/n 我非常激动地分享,我们的 @OpenAI 推理系统在 2025 年 ICPC 世界总决赛中获得了 12/12 的满分,这是首屈一指的大学编程竞赛,来自世界各地的顶尖大学团队在此解决复杂的算法问题。这本来会让它在所有人类参赛者中排名第一。🥇🥇

    推荐理由:GPT-5在ICPC世界总决赛获满分,编程推理能力达人类冠军水平

  2. OpenAI

    OpenAI 推理系统在 2025 ICPC 世界总决赛中解出全部 12 道算法题,获得 12/12 满分。该成绩在所有人类参赛队伍中排名第一,足以夺得冠军。

    引用Mostafa Rohaninejad@MostafaRohani

    1/n 我非常激动地分享,我们的 @OpenAI 推理系统在 2025 年 ICPC 世界总决赛中获得了 12/12 的满分,这是首屈一指的大学编程竞赛,来自世界各地的顶尖大学团队在此解决复杂的算法问题。这本来会让它在所有人类参赛者中排名第一。🥇🥇

    推荐理由:通用推理模型首次在顶级编程竞赛击败人类冠军,算法岗竞争格局或将重塑

  3. Jakub Pachocki77

    OpenAI 推理系统在 2025 年 ICPC 世界总决赛中满分 12/12 完成所有题目,成绩超越所有人类参赛队伍(最佳人类队伍解出 11 题)。这是其模型近两个月内继 AtCoder Heuristics 世界亚军、IMO 金牌、IOI 金牌后的第四项顶级竞赛佳绩。OpenAI 首席科学家表示,下一步挑战是解决更开放、时间跨度更长的问题。

    引用Mostafa Rohaninejad@MostafaRohani

    1/n 我非常激动地分享,我们的 @OpenAI 推理系统在 2025 年 ICPC 世界总决赛中获得了 12/12 的满分,这是首屈一指的大学编程竞赛,来自世界各地的顶尖大学团队在此解决复杂的算法问题。这本来会让它在所有人类参赛者中排名第一。🥇🥇

    推荐理由:AI首次在ICPC总决赛拿满分并超越人类最强,这不是又一个刷榜新闻,而是推理模型在算法思维上开始与顶尖人类选手平起平坐的信号。做coding agent的同行该严肃对待了。

9月15日周一
  1. Anthropic:Transformer Circuits73

    Circuits 更新 — 2025年9月

    Anthropic 可解释性团队在月度更新中分享了关于大语言模型跨语言表征的新发现。研究显示,模型在不同语言间的特征相似性(通过交并比IoU衡量)会随文本样本长度增加而上升。通过对比英法双语段落的首句与末句,团队发现末句的IoU显著高于首句,且无关文本的首句间重叠度高于末句。这表明模型在较长上下文中能构建更丰富的跨语言理解,而非由虚假激活主导。相关发现支持了模型随上下文积累深化语义表征的观点。

    推荐理由:揭示语言模型随上下文深化理解的机制,助力可解释性研究进展。