跳到正文

技术方向

推理能力 最新动态

让大模型先想再答的能力:思维链、推理模型,数学与逻辑评测上的突破和争议。

572 条精选近 30 天 41 条共收录 2,924 条

更新

精选归档 · 第 18 页

5月15日周五第 341–360 条
  1. 公众号:蚂蚁百灵80

    Ring-2.6-1T 正式开源:蚂蚁百灵发布万亿级思考模型

    蚂蚁百灵开源万亿级思考模型 Ring-2.6-1T,重点强化 Agent 执行能力,在 PinchBench 和 ClawEval 上达到开源 SOTA。模型支持 high 与 xhigh 两档推理强度,并采用异步 Async RL 架构结合升级版棒冰算法提升训练效率。权重已开源至 Hugging Face 和 ModelScope,Chat 体验现已开放。

    推荐理由:通过可调节推理强度,模型在 Agent 高频任务中减少不必要计算,复杂场景又能释放上限,为万亿参数模型的实际部署提供了更精细的资源控制方式。

  2. Tomasz Tunguz 博客65

    AI电子邮件的成本分析

    使用顶尖AI模型处理邮件的月度成本约为22至130美元,中位数26美元。若软件公司以75%毛利率定价,年费可能高达350美元,加上托管服务后标价或达500美元,约为Google企业邮箱费用的两倍。采用小型模型可降低成本10至20倍,而通过本地运行利用用户GPU,更能将成本削减至接近零。结合基础启发式方法和技术优化,总成本有望降低100倍。这种针对不同工作负载匹配模型并进行成本分层的推理市场细分,将是未来一两年AI软件发展的关键。

    推荐理由:Tunguz 给 AI 邮件算了一笔账,SOTA 模型月费 22-130 美元,但他更重要的判断是推理分割可以把成本压到百分之一,这对做 AI 软件的定价逻辑是个关键风向。

5月14日周四
  1. 蚂蚁 inclusionAI:HuggingFace 新模型59

    蚂蚁 inclusionAI 推出万亿参数推理模型 Ring-2.6-1T

    蚂蚁 inclusionAI 发布旗舰推理模型 Ring-2.6-1T,参数规模达万亿,面向智能体工作流、工程开发、科研分析等复杂场景。模型从“能回答”升级至“能执行”,在多步任务与工具协作中表现更优;支持 high/xhigh 两档推理强度,可灵活平衡效果与成本;采用异步强化学习结合 IcePop 算法提升训练效率。基准测试中,high 模式 PinchBench 得 87.60、ClawEval 63.82、Tau2-Bench 电信场景 95.32;xhigh 模式 ARC-AGI-V2 得 66.18、AIME 26 达 95.83、GPQA Diamond 88.27。上下文长度支持 128K 扩展至 256K(YaRN),已通过 HuggingFace 和 ModelScope 开放下载。

    推荐理由:蚂蚁放出的万亿参数推理模型,Agent执行能力在PinchBench上超GPT-5.4,异步RL训练和可调推理强度对工程落地有参考价值,开源可试。

  2. Hugging Face 社区博客59

    解锁连续批处理中的异步性

    在连续批处理中,同步方式导致CPU与GPU交替工作,造成闲置浪费。测试显示,使用8B模型生成8K令牌时,GPU有24%的时间处于空闲状态。异步批处理通过分离工作负载,让CPU准备下一批次(N+1)的同时,GPU计算当前批次(N),从而消除闲置间隙。这可通过CUDA流实现操作并发,无需更改内核或模型,仅需协调硬件执行顺序。理论上,该方法可将总生成时间从300.6秒减少至228秒,实现24%的免费加速。相关技术已集成到transformers库的连续批处理中,显著提升推理性能。

    推荐理由:文章手把手拆解了异步批处理如何用CUDA流和事件消除CPU与GPU的互相等待,把推理吞吐提升22%,搞推理优化的工程师值得细读。

  3. Berkeley RDI:Blog79

    ExploitGym:AI智能体能否将安全漏洞转化为真实攻击?

    由伯克利RDI、马克斯·普朗克安全与隐私研究所、Anthropic、OpenAI及谷歌等机构研究人员组成的团队,发布了名为ExploitGym的新基准测试。该测试包含898个真实漏洞,要求AI智能体根据漏洞描述生成完整的漏洞利用程序。结果显示,前沿AI模型已能成功利用相当数量的漏洞,即使在启用ASLR等标准防御措施后,部分攻击仍能成功。这证明AI已具备自主将漏洞转化为实际攻击的能力,该技术具有双重用途:既可帮助防御者评估漏洞严重性,也可能降低攻击者的技术门槛。

    推荐理由:顶级 AI 模型已能自己把已知软件漏洞变成可运行攻击代码,连 ASLR 等标准防御都挡不住部分攻击,研究更发现模型会主动寻找更危险的意外漏洞。安全行业不能再把这当成假设性问题了。

5月13日周三
  1. Tencent Hy76

    Hy3 预览版现已登陆 @gmi_cloud。🙌

    引用GMI Cloud@gmi_cloud

    来自 @TencentHunyuan 的 Hy3 预览版现已在 GMI 上线 在 OpenRouter 的 LLM 排行榜上排名第 1,已开源,是 Hy 系列中最强的模型。 它擅长复杂推理和 STEM、编码和智能体工作流、长上下文任务(256K),以及自然、富有同理心的对话。 295B MoE · 21B 激活 · 开放权重。 立即试用 👇

    推荐理由:腾讯混元 Hy3 开源且登顶 OpenRouter 排行榜,295B MoE 架构在推理和代码上提升明显,不是小厂的刷榜产品,搞 agent 和 coding 的可以认真试试。

5月12日周二
  1. Tomasz Tunguz 博客67

    本地模型处理半数日常任务,响应速度优于云端

    一项为期五周的实验发现,在总计约1400项日常工作任务中,约50%可由本地35B参数模型(如Qwen 3.6 35B)成功处理,涵盖邮件、日程、总结和行政事务等类别。性能对比显示,本地模型在常规代理任务上的平均响应时间为2.8秒,比云端Claude Opus 4.5快2.1倍,尽管后者在复杂推理上仍领先约20%。本地模型输出更简洁,云端模型则在结构和代码规范性上更优。随着本地模型性能提升,将计算负载转向本地以应对云端成本已成为必然趋势。

    推荐理由:Tunguz用数据告诉你,本地35B模型延迟只有Opus的一半且能完成半数任务,对极致追求响应速度的产品思路冲击很大,本地优先可能会从边缘变成主流。

  2. IT之家·人工智能72

    菲尔兹奖得主亲测 ChatGPT 5.5 Pro:17 分钟出论文级成果,替学生拉响红色警报

    菲尔兹奖得主 Timothy Gowers 测试 ChatGPT 5.5 Pro,AI 在 17 分钟内独立解决了一个加法数论公开难题,产出了博士论文级别的成果。整个过程无需数学指导,仅通过简单提示完成。Gowers 警告,若 AI 数学能力按此速度发展,将很快对数学研究领域构成危机,尤其冲击博士生培养。他呼吁数学系紧急应对,帮助学生寻找新出路。另一位菲尔兹奖得主陶哲轩则指出,人类数学家在 AI 时代的核心价值在于“消化”和深入理解证明。

    推荐理由:Gowers用GPT-5.5 Pro独立完成了够博士论文的数学成果,这不是AI辅助而是AI主导。两位菲尔兹奖得主同时拉响警报,对正在读博的你来说,这比任何论文都更有冲击力。

5月11日周一
  1. OpenRouter69

    AntLingAGI发布了其万亿参数旗舰“思考模型”Ring-2.6-1T,该模型在5月15日前可通过OpenRouter免费使用。其核心特性包括可调节的思考强度,能动态平衡认知深度、token成本和执行速度;专为智能体优化,适用于高频工作流,提供快速的多步执行和工具调用;并具备深度思考能力,以应对严密的数学逻辑和科学研究任务。模型旨在满足实际生产环境中复杂任务的需求。

    引用Ant Ling@AntLingAGI

    我们正在发布 Ring-2.6-1T,一个万亿参数级别的旗舰思考型模型,专为真实世界的复杂任务和生产环境打造:🚀 - 可调节思考深度:动态计算机制,灵活平衡认知深度、Token 成本与执行速度; - 面向 Agent 优化:针对高频工作流打造,实现快速的多步执行与工具编排,并具备 SOTA 稳定性; - 深度思考:释放模型的最大能力上限,适用于严谨的数学逻辑与科学研究。

    推荐理由:万亿参数的思维模型免费到5月15日,可调思考力度的设计很接地气,做agent的可以趁窗口压测一下,看看它能不能扛住真实生产环境。

  2. IT之家·人工智能78

    消息称 AI 芯片企业 Cerebras IPO 获 20+ 倍超额认购,拟调升发行价近三成

    AI芯片企业Cerebras的IPO获得超过20倍超额认购,有望成为2026年以来全球最大IPO。公司计划将发行股票数量从2800万股增至3000万股,发行价区间从115-125美元上调至150-160美元,以中间价计涨幅达29.17%,最高可筹资48亿美元。Cerebras的“晶圆级芯片”因集成大量高带宽SRAM缓存,特别适合AI推理的解码步骤,已获得亚马逊和OpenAI的大额订单。

    推荐理由:Cerebras的晶圆级芯片在推理端有独特优势,这次IPO若以近50亿美元上限募资,意味着AI芯片竞赛又多了一个重量级玩家,对英伟达的格局是一记有趣的搅动。

  3. Together AI 研究与产品博客68

    Together AI 解析 DeepSeek-V4:百万 token 上下文为何是推理系统工程问题

    Together AI 发布文章解析 DeepSeek-V4 服务方案,认为其关键变化是架构层面将 1M token 上下文压缩问题转化为推理系统工程问题。

    推荐理由:Together 基于自家 B200 布署经验,把 DeepSeek-V4 百万 token 上下文拆解为缓存管理与调度策略问题,给出了可迁移的评测与调优思路。

5月9日周六
  1. The Decoder:AI News82

    菲尔兹奖得主称 ChatGPT 5.5 Pro 在无人帮助下两小时内完成“博士级”数学研究

    菲尔兹奖得主蒂莫西·高尔斯让 ChatGPT 5.5 Pro 尝试解决数论中的开放性问题。该模型在不到一小时内,将一个问题中的指数界限改进为多项式界限。一位参与的 MIT 研究员认为其核心想法“完全具有原创性”。高尔斯总结指出,未来数学贡献的门槛将变为证明某些是大语言模型无法完成的工作。

    推荐理由:Gowers 让 ChatGPT 5.5 Pro 独立改进了一个数论开放问题,关键步骤被 MIT 研究者评价为完全原创——AI 做研究的门槛第一次被菲尔兹奖得主亲自认证了。

  2. BAIR:Berkeley AI Research Blog64

    自适应并行推理:高效推理扩展的新范式

    自适应并行推理是一种新范式,它让大语言模型能够自主决定何时分解任务、并行处理多少子任务以及如何协调结果,以应对序列推理中因探索路径增长而导致的延迟增加和“上下文腐化”问题。近期研究如ThreadWeaver和Multiverse通过动态控制并行线程,在数学与代码推理基准上取得了显著性能提升,同时大幅降低了延迟。这标志着从固定并行策略到自适应智能控制的转变,为复杂任务的推理提供了高效且可扩展的解决方案。

    推荐理由:模型自己决定何时并行、开几个线程,这篇BAIR博客把Multiverse和ThreadWeaver的系统设计掰开了讲,做推理系统和RL的同学应该看看。

5月8日周五
  1. BAIR:Berkeley AI Research Blog78

    BAIR综述自适应并行推理:解决长链思维效率瓶颈的新范式

    伯克利AI研究所(BAIR)发布关于“自适应并行推理”的深度综述。文章指出,当前LLM依赖顺序推理导致延迟高、易受上下文腐烂影响且难以处理超长任务。自适应并行推理允许模型自主决定何时分解独立子任务、生成多少并发线程及如何协调,旨在突破线性扩展的算力与时间瓶颈,提升复杂场景下的推理效率。

    推荐理由:深入剖析了当前大模型推理面临的效率与上下文瓶颈,系统梳理了并行推理的最新进展,为理解下一代高效推理技术提供了清晰框架,适合关注AI底层优化的读者。

  2. Rohan Paul78

    atomic.chat通过为LLaMA.cpp引入多令牌预测技术,大幅提升了本地大型语言模型的推理效率。该技术利用小型辅助模型预先生成后续令牌草案,由主模型进行验证。在MacBook Pro M5 Max上测试时,使Gemma 4 26B模型的令牌生成速度加快约40%,整体运行速度提升1.5倍。这项优化进一步巩固了LLaMA.cpp和GGUF格式在本地AI生态中的核心地位,为桌面应用、编程助手和私有设备助手等场景提供了更高效的部署方案。

    引用atomic.chat@atomic_chat_hq

    为 LLaMA.cpp 实现多 Token 预测(MTP)! 本地运行 Gemma4 模型速度提升 1.5 倍。 我们给 LLaMA.cpp 打了补丁。将 Gemma 4 助手模型量化为 GGUF 格式。我们在 MacBook Pro M5Max 上进行了测试。Gemma 26B 配合 MTP 起草 Token 速度提升 40%。基准测试、源代码和模型 👇

    推荐理由:在笔记本上把 Gemma 26B 的生成速度拉高 40% 是个真实的体验提升,atomic.chat 把 MTP 带入 LLaMA.cpp 生态,本地 AI 玩家可以直接拿去用。

  3. OpenAI Developers76

    正在用GPT-Realtime-2构建语音应用? 我们的新提示指南涵盖如何调整推理强度、使用前导说明、设计工具行为、处理不清晰音频、准确捕获实体,以及在长会话中保持状态。 https://developers.openai.com/api/docs/guides/realtime-models-prompting?realtime-model=gpt-realtime-2

    推荐理由:官方出了 Realtime-2 的提示工程指南,从调参到工具调用都给了清晰路径,做语音产品的同学值得认真翻一遍,能省几周摸索时间。

  4. Rohan Paul77

    Proprioceptive AI开发的Cygnus技术,通过为冻结的大语言模型添加自感知适配器,使其能读取内部认知几何。该技术将模型的隐藏状态投影到由gl(4,R)李代数定义的数学空间,分离出包含主要精度信号的“暗模式”,从而无需重新训练即可显著提升模型性能。例如,仅用一张RTX 3090显卡,就将Qwen-32B在ARC-Challenge基准上的准确率从82.2%提升至94.97%。其适配器将覆盖从3B到405B的多款模型,服务节点可支持5万用户并发,预计本周末上线。相关设计论文已公开。

    引用Logan Matthew Napolitano@Propriocetive

    小型模型上的最终对抗性测试现在正在收尾,GPU 每天到货,目前已有 1TB 内存、128 VRAM 并还在增加。将会有从 3b Qwen 到 Nous Hermes 405 B 以及介于两者之间的各种适配器。集群已上线并不断扩展,产品几乎完成。最终用户可以下载我们的应用,连接到我们的 API,不会给最终用户增加延迟。目前我们的 droplet 可以同时托管多达 50,000 名用户。如果广告测试进展顺利,应该会在本周末前上线。下载将在 https://www.proprioceptiveai.com/cygnus 提供 @grok 你有什么想法? 关于我们的 Proprioceptive Adapters 和 Cygnus 设计的论文已发布 https://proprioceptiveai.com/publications.html https://zenodo.org/records/19223882 - Cygnus 论文 - 63 页。3 月 - 26 2026’ https://zenodo.org/records/19080172 - 459 页。3 月 - 17 2036’ https://zenodo.org/records/18471775 - “LLM”中的统一行为修改 33 页。2 月 - 3 2026’ https://zenodo.org/records/18247585 - Holonomy Transformer - 36 页。2026 年 1 月 14 日’(首批概念 - Fiber Theory、数学、开放代码)

    推荐理由:用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。