跳到正文

技术方向

推理能力 最新动态

模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。

558 条精选近 30 天 39 条共收录 2,797 条

更新

精选归档 · 第 17 页

5月20日周三第 321–340 条
  1. Cohere 产品与研究博客71

    Cohere 开源 Command A+:218B 参数 MoE 模型主打企业级智能体能力

    Cohere 发布 Command A+ 并以 Apache 2.0 许可开源权重,模型采用 MoE 架构,总参数 218B、激活 25B,支持 128K 输入上下文和 48 种语言。

    推荐理由:官方公布了 Command A+ 的架构参数、基准成绩与量化部署门槛,可帮助企业评估其在私有环境中的智能体部署可行性。

5月17日周日
  1. Ant Ling80

    又一次Day0协作,又一次社区胜利。感谢@vllm_project团队始终可靠的支持~ 🫡🫡

    引用vLLM@vllm_project

    恭喜 @AntLingAGI 的 Ring-2.6-1T 开源!🎉 Ling-2.6-1T 的思考版兄弟——万亿规模,专为智能体执行和复杂推理打造。 Day-0 vLLM 支持已就绪。 🤗 http://recipes.vllm.ai/inclusionAI/Ring-2.6-1T

    推荐理由:蚂蚁百灵把万亿参数的 thinking 模型开源,vLLM 第一天就能跑,想自己搭 agent 推理服务的可以直接动手了,开源生态的齿轮转得比想象中快。

  2. Ant Ling76

    蚂蚁集团发布万亿参数推理模型Ring-2.6-1T,专为现实世界智能体工作流构建。该模型采用MIT许可,上下文长度通过YaRN技术从128K扩展至256K,并采用Async RL与IcePop混合训练架构。其核心特点是具备双推理努力模式:“high”模式用于快速智能体循环,“xhigh”模式用于深度推理,旨在实现更好的成本与性能平衡。模型已开源,欢迎社区反馈。

    引用Adina Yakup@AdinaYakup

    蚂蚁集团刚刚发布了 Ring-2.6-1T 🔥 1T 推理模型,专为真实世界的 agent 工作流打造。 ✨ MIT 许可证 ✨ 128K >> 256K 上下文(YaRN) ✨ 异步 RL + IcePop 训练架构 ✨ 双推理强度:"high" 用于快速 agent 循环,"xhigh" 用于深度推理 = 更好的成本/性能权衡 👀

    推荐理由:蚂蚁把1T推理模型以MIT许可开源,还专门为Agent循环做了高低推理双模式,做开源Agent的团队直接多了一个强力基座可选。

5月16日周六
  1. Tomasz Tunguz 博客72

    推理的一阶导数:AI浪潮下的增长逻辑

    AI推理是当今规模最大、增长最快的技术市场,预计七年内将达到2500亿美元。直接销售或转售推理服务的公司增长迅猛,如Anthropic和谷歌云。在AI时代前的软件公司中,Datadog和Twilio作为“推理的一阶导数”脱颖而出:Datadog的LLM可观测产品数据量近一季增长近两倍,其约20%的AI客户贡献了约80%的年度经常性收入;Twilio则通过AI重构的语音服务吸引客户。当前周期呈现高度集中特点,少数客户能驱动巨大收益。对于非AI原生公司,核心战略在于如何转售推理服务或从其客户的大量采购中获益。

    推荐理由:Tomer 用「推理的第一导数」这个框架讲透了一件事,Twilio 和 Datadog 的暴涨不是偶然,而是买推理的衍生需求,pre-AI 公司想活就得问自己怎么沾上推理的光。

  2. Dwarkesh Patel:Podcast & Blog55

    Eric Jang – 从零开始构建 AlphaGo

    文章以AlphaGo为例,阐述了智能的基本构成要素。AlphaGo至今仍是最清晰、最完整的范例,它融合了三大核心基础:搜索技术、从经验中学习以及自我对弈。这三大要素共同构成了其实现超越人类棋艺的关键路径。

    推荐理由:Eric Jang 把 AlphaGo 的搜索、自对弈和价值网络拆解得非常通透,用现代工具复现让这个经典思路对今天的 RL 和自动研究都有直接启发,做 LLM 后训练的尤其该听听他对信用分配问题的解释。

5月15日周五
  1. 公众号:蚂蚁百灵80

    Ring-2.6-1T 正式开源:蚂蚁百灵发布万亿级思考模型

    蚂蚁百灵开源万亿级思考模型 Ring-2.6-1T,重点强化 Agent 执行能力,在 PinchBench 和 ClawEval 上达到开源 SOTA。模型支持 high 与 xhigh 两档推理强度,并采用异步 Async RL 架构结合升级版棒冰算法提升训练效率。权重已开源至 Hugging Face 和 ModelScope,Chat 体验现已开放。

    推荐理由:通过可调节推理强度,模型在 Agent 高频任务中减少不必要计算,复杂场景又能释放上限,为万亿参数模型的实际部署提供了更精细的资源控制方式。

  2. Tomasz Tunguz 博客65

    AI电子邮件的成本分析

    使用顶尖AI模型处理邮件的月度成本约为22至130美元,中位数26美元。若软件公司以75%毛利率定价,年费可能高达350美元,加上托管服务后标价或达500美元,约为Google企业邮箱费用的两倍。采用小型模型可降低成本10至20倍,而通过本地运行利用用户GPU,更能将成本削减至接近零。结合基础启发式方法和技术优化,总成本有望降低100倍。这种针对不同工作负载匹配模型并进行成本分层的推理市场细分,将是未来一两年AI软件发展的关键。

    推荐理由:Tunguz 给 AI 邮件算了一笔账,SOTA 模型月费 22-130 美元,但他更重要的判断是推理分割可以把成本压到百分之一,这对做 AI 软件的定价逻辑是个关键风向。

5月14日周四
  1. 蚂蚁 inclusionAI:HuggingFace 新模型59

    蚂蚁 inclusionAI 推出万亿参数推理模型 Ring-2.6-1T

    蚂蚁 inclusionAI 发布旗舰推理模型 Ring-2.6-1T,参数规模达万亿,面向智能体工作流、工程开发、科研分析等复杂场景。模型从“能回答”升级至“能执行”,在多步任务与工具协作中表现更优;支持 high/xhigh 两档推理强度,可灵活平衡效果与成本;采用异步强化学习结合 IcePop 算法提升训练效率。基准测试中,high 模式 PinchBench 得 87.60、ClawEval 63.82、Tau2-Bench 电信场景 95.32;xhigh 模式 ARC-AGI-V2 得 66.18、AIME 26 达 95.83、GPQA Diamond 88.27。上下文长度支持 128K 扩展至 256K(YaRN),已通过 HuggingFace 和 ModelScope 开放下载。

    推荐理由:蚂蚁放出的万亿参数推理模型,Agent执行能力在PinchBench上超GPT-5.4,异步RL训练和可调推理强度对工程落地有参考价值,开源可试。

  2. Hugging Face 社区博客59

    解锁连续批处理中的异步性

    在连续批处理中,同步方式导致CPU与GPU交替工作,造成闲置浪费。测试显示,使用8B模型生成8K令牌时,GPU有24%的时间处于空闲状态。异步批处理通过分离工作负载,让CPU准备下一批次(N+1)的同时,GPU计算当前批次(N),从而消除闲置间隙。这可通过CUDA流实现操作并发,无需更改内核或模型,仅需协调硬件执行顺序。理论上,该方法可将总生成时间从300.6秒减少至228秒,实现24%的免费加速。相关技术已集成到transformers库的连续批处理中,显著提升推理性能。

    推荐理由:文章手把手拆解了异步批处理如何用CUDA流和事件消除CPU与GPU的互相等待,把推理吞吐提升22%,搞推理优化的工程师值得细读。

  3. Berkeley RDI:Blog79

    ExploitGym:AI智能体能否将安全漏洞转化为真实攻击?

    由伯克利RDI、马克斯·普朗克安全与隐私研究所、Anthropic、OpenAI及谷歌等机构研究人员组成的团队,发布了名为ExploitGym的新基准测试。该测试包含898个真实漏洞,要求AI智能体根据漏洞描述生成完整的漏洞利用程序。结果显示,前沿AI模型已能成功利用相当数量的漏洞,即使在启用ASLR等标准防御措施后,部分攻击仍能成功。这证明AI已具备自主将漏洞转化为实际攻击的能力,该技术具有双重用途:既可帮助防御者评估漏洞严重性,也可能降低攻击者的技术门槛。

    推荐理由:顶级 AI 模型已能自己把已知软件漏洞变成可运行攻击代码,连 ASLR 等标准防御都挡不住部分攻击,研究更发现模型会主动寻找更危险的意外漏洞。安全行业不能再把这当成假设性问题了。

5月13日周三
  1. Tencent Hy76

    Hy3 预览版现已登陆 @gmi_cloud。🙌

    引用GMI Cloud@gmi_cloud

    来自 @TencentHunyuan 的 Hy3 预览版现已在 GMI 上线 在 OpenRouter 的 LLM 排行榜上排名第 1,已开源,是 Hy 系列中最强的模型。 它擅长复杂推理和 STEM、编码和智能体工作流、长上下文任务(256K),以及自然、富有同理心的对话。 295B MoE · 21B 激活 · 开放权重。 立即试用 👇

    推荐理由:腾讯混元 Hy3 开源且登顶 OpenRouter 排行榜,295B MoE 架构在推理和代码上提升明显,不是小厂的刷榜产品,搞 agent 和 coding 的可以认真试试。

5月12日周二
  1. Tomasz Tunguz 博客67

    本地模型处理半数日常任务,响应速度优于云端

    一项为期五周的实验发现,在总计约1400项日常工作任务中,约50%可由本地35B参数模型(如Qwen 3.6 35B)成功处理,涵盖邮件、日程、总结和行政事务等类别。性能对比显示,本地模型在常规代理任务上的平均响应时间为2.8秒,比云端Claude Opus 4.5快2.1倍,尽管后者在复杂推理上仍领先约20%。本地模型输出更简洁,云端模型则在结构和代码规范性上更优。随着本地模型性能提升,将计算负载转向本地以应对云端成本已成为必然趋势。

    推荐理由:Tunguz用数据告诉你,本地35B模型延迟只有Opus的一半且能完成半数任务,对极致追求响应速度的产品思路冲击很大,本地优先可能会从边缘变成主流。

  2. IT之家·人工智能72

    菲尔兹奖得主亲测 ChatGPT 5.5 Pro:17 分钟出论文级成果,替学生拉响红色警报

    菲尔兹奖得主 Timothy Gowers 测试 ChatGPT 5.5 Pro,AI 在 17 分钟内独立解决了一个加法数论公开难题,产出了博士论文级别的成果。整个过程无需数学指导,仅通过简单提示完成。Gowers 警告,若 AI 数学能力按此速度发展,将很快对数学研究领域构成危机,尤其冲击博士生培养。他呼吁数学系紧急应对,帮助学生寻找新出路。另一位菲尔兹奖得主陶哲轩则指出,人类数学家在 AI 时代的核心价值在于“消化”和深入理解证明。

    推荐理由:Gowers用GPT-5.5 Pro独立完成了够博士论文的数学成果,这不是AI辅助而是AI主导。两位菲尔兹奖得主同时拉响警报,对正在读博的你来说,这比任何论文都更有冲击力。

5月11日周一
  1. OpenRouter69

    AntLingAGI发布了其万亿参数旗舰“思考模型”Ring-2.6-1T,该模型在5月15日前可通过OpenRouter免费使用。其核心特性包括可调节的思考强度,能动态平衡认知深度、token成本和执行速度;专为智能体优化,适用于高频工作流,提供快速的多步执行和工具调用;并具备深度思考能力,以应对严密的数学逻辑和科学研究任务。模型旨在满足实际生产环境中复杂任务的需求。

    引用Ant Ling@AntLingAGI

    我们正在发布 Ring-2.6-1T,一个万亿参数级别的旗舰思考型模型,专为真实世界的复杂任务和生产环境打造:🚀 - 可调节思考深度:动态计算机制,灵活平衡认知深度、Token 成本与执行速度; - 面向 Agent 优化:针对高频工作流打造,实现快速的多步执行与工具编排,并具备 SOTA 稳定性; - 深度思考:释放模型的最大能力上限,适用于严谨的数学逻辑与科学研究。

    推荐理由:万亿参数的思维模型免费到5月15日,可调思考力度的设计很接地气,做agent的可以趁窗口压测一下,看看它能不能扛住真实生产环境。

  2. IT之家·人工智能78

    消息称 AI 芯片企业 Cerebras IPO 获 20+ 倍超额认购,拟调升发行价近三成

    AI芯片企业Cerebras的IPO获得超过20倍超额认购,有望成为2026年以来全球最大IPO。公司计划将发行股票数量从2800万股增至3000万股,发行价区间从115-125美元上调至150-160美元,以中间价计涨幅达29.17%,最高可筹资48亿美元。Cerebras的“晶圆级芯片”因集成大量高带宽SRAM缓存,特别适合AI推理的解码步骤,已获得亚马逊和OpenAI的大额订单。

    推荐理由:Cerebras的晶圆级芯片在推理端有独特优势,这次IPO若以近50亿美元上限募资,意味着AI芯片竞赛又多了一个重量级玩家,对英伟达的格局是一记有趣的搅动。

  3. Together AI 研究与产品博客68

    Together AI 解析 DeepSeek-V4:百万 token 上下文为何是推理系统工程问题

    Together AI 发布文章解析 DeepSeek-V4 服务方案,认为其关键变化是架构层面将 1M token 上下文压缩问题转化为推理系统工程问题。

    推荐理由:Together 基于自家 B200 布署经验,把 DeepSeek-V4 百万 token 上下文拆解为缓存管理与调度策略问题,给出了可迁移的评测与调优思路。

5月9日周六
  1. The Decoder:AI News82

    菲尔兹奖得主称 ChatGPT 5.5 Pro 在无人帮助下两小时内完成“博士级”数学研究

    菲尔兹奖得主蒂莫西·高尔斯让 ChatGPT 5.5 Pro 尝试解决数论中的开放性问题。该模型在不到一小时内,将一个问题中的指数界限改进为多项式界限。一位参与的 MIT 研究员认为其核心想法“完全具有原创性”。高尔斯总结指出,未来数学贡献的门槛将变为证明某些是大语言模型无法完成的工作。

    推荐理由:Gowers 让 ChatGPT 5.5 Pro 独立改进了一个数论开放问题,关键步骤被 MIT 研究者评价为完全原创——AI 做研究的门槛第一次被菲尔兹奖得主亲自认证了。