跳到正文

技术方向

推理能力 最新动态

让大模型先想再答的能力:思维链、推理模型,数学与逻辑评测上的突破和争议。

572 条精选近 30 天 41 条共收录 2,920 条

更新

精选归档 · 第 19 页

5月8日周五第 361–380 条
  1. OpenAI:Alignment 研究博客72

    研究强化学习中意外对思维链(CoT)评分的影响

    研究发现,部分已发布的模型存在有限的意外对思维链(CoT)进行评分的情况。团队已修复受影响的奖励通路,并确认没有明确证据表明模型的可监控性因此下降。这表明当前强化学习训练中对CoT的意外评分影响有限,且修复后未对监控能力产生负面影响。

    推荐理由:OpenAI 对齐团队发现部分模型 CoT 意外被奖励信号污染,已修复且确认没有引发监控降级。这件事不大,但对研究 RLHF 可扩展监督的人来说值得一瞥,提醒奖励模型工程比想象中更易出错。

5月7日周四
  1. Apple Machine Learning Research64

    SpecMD: 关于推测性专家预取的综合研究

    研究团队开发了SpecMD,这是一个用于在各种硬件配置上对临时缓存策略进行基准测试的标准化框架。该研究聚焦于混合专家模型,这类模型虽然实现了稀疏专家激活,但需要专家缓存机制才能将稀疏性转化为实际性能提升。此前的研究提出了以硬件为中心的缓存策略,但不同缓存策略之间以及它们与不同硬件规格之间的相互作用尚不明确。SpecMD框架旨在填补这一理解空白,系统性地评估缓存策略的交互影响与硬件适配性。

    推荐理由:MoE推理的缓存策略一直靠经验摸,Apple给的标准化框架能系统比较不同策略,做分布式推理的可以省些心力。

  2. Apple Machine Learning Research73

    从位置认知到功能理解:为多模态大语言模型设立空间功能智能基准

    现有基准如VSI-Bench主要评估基础几何感知能力,但未能触及具身智能所需的高阶认知。为此,研究团队推出了空间功能智能基准SFI-Bench,该基准包含超过1700个问题,数据来源于多样化的第一人称室内扫描视频。SFI-Bench旨在系统评估多模态大模型从物体位置感知到功能意图理解的高级空间推理能力,标志着对智能体空间认知的评估从几何层面迈向功能层面。

    推荐理由:Apple 自己搞的 SFI-Bench 把评估从几何定位推进到功能理解,这个方向很对,做具身智能和空间推理的团队该跟一下。

  3. Hugging Face 社区博客65

    vLLM V0 到 V1:在线强化学习中优先确保后端行为正确性

    为确保 vLLM 从 0.8.5 到 0.18.1 的重大重写后,在线强化学习训练结果与 V0 参考运行一致,团队优先修复后端行为而非调整 RL 目标。关键修复包括:将日志概率模式设为 `processed_logprobs` 以匹配采样器分布;禁用 V1 特有的前缀缓存和异步调度等运行时默认值;调整权重更新路径以匹配 V0 的缓存保留行为;并确保 rollout 后端使用 fp32 精度的 `lm_head` 进行最终投影。这些措施消除了策略比率均值偏差,使 V1 在 KL 散度、熵等指标上与 V0 达成一致。

    推荐理由:vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。

  4. Nathan Lambert76

    作者盛赞访问Moonshot AI(月之暗面)的体验极佳。其旗下产品Kimi正以超200亿美元的投后估值完成新一轮约20亿美元融资,由美团龙珠领投。公司在2025年前六个月融资总额超39亿美元,估值较去年11月增长约4倍,成为中国累计融资额最高的AI初创公司。其年度经常性收入在短期内从1亿美元快速增长至超2亿美元,付费订阅和API使用量均在加速。

    引用Manqi Cheng 程曼祺@ChengManqi

    Just published an exclusive on LatePost. A few highlights: - Kimi (Moonshot AI) is closing a new $2B funding round at a $20B+ post-money valuation — led by Meituan Dragonball(美团龙珠), with China Mobile and CPE(中信产业基金)among participants. Dragonball alone put in $200M+. - This comes after Kimi already raised three rounds in Jan-Feb 2025 ($500M, $700M, $700M). In under six months, total raised exceeds $3.9B. Valuation is up 4x from ~$4.3B in November 2025. - Kimi is now the most-funded Chinese AI startup, with cumulative raises surpassing ¥376B RMB — ahead of MiniMax (~¥150B) and Zhipu (~¥130B).(DeepSeek’s first-ever funding round is currently underway.) -ARR hit $100M in early March and grew to $200M+ by April, per Wang Xinyu, partner at Meituan Dragon Ball. Both paid subscriptions and API usage are accelerating.🧵

    推荐理由:月之暗面这轮融资直接把国内AI格局拉到了新高度,AR从三个月1亿跳到2亿美金,加上Nathan Lambert站台,这家公司不再是“中国另一家大模型”了。

5月6日周三
  1. SenseTime71

    🚀 SenseNova-U1 更新: ⚡ 开源8步蒸馏LoRA:100 NFE降至8 NFE,H100推理时间从23秒缩短至2秒 🧩 现已支持ComfyUI,提供文生图、图像编辑和交错生成的即用工作流 试用链接 👇 https://github.com/OpenSenseNova/SenseNova-U1/

    推荐理由:从100步到8步,23秒压到2秒,商汤这个蒸馏LoRA把U1的推理成本打下来了,做实时图像应用的可以认真看看,ComfyUI一接就能跑。

  2. IT之家·人工智能71

    豆包大模型家族首款全模态理解模型:字节跳动 Doubao-Seed-2.0-lite 升级

    字节跳动火山引擎发布豆包大模型家族首款全模态理解模型 Doubao-Seed-2.0-lite 升级版。该模型原生统一支持视频、图像、音频和文本理解,并能进行跨模态联合推理,在物理、医疗等学科推理及细粒度感知上表现超越此前Pro版本。音频方面支持19种语种转写及多语种互译,多项基准测试优于Gemini-3.1-Pro。同时,其Agent、Coding与GUI能力升级,能更稳定处理长任务、胜任深度开发,并实现界面理解与操作执行的闭环。新版本已在火山方舟上线,旨在为企业提供高性价比的全模态任务部署方案。

    推荐理由:豆包Seed 2.0 lite把视频、音频、图片、文字原生塞进一个模型,还顺手强化了Agent和GUI操作,对需要全模态处理的企业来说,这可能是目前性价比最高的选择。

  3. Zyphra Research67

    Zyphra 发布 ZAYA1-8B:全 AMD 集群训练的 MoE 模型

    Zyphra 发布 ZAYA1-8B,一个活跃参数不足 10 亿的 MoE 模型,是首个完全在 AMD Instinct MI300 集群(1,024 个节点,与 IBM 合作构建)上完成预训练、中期训练和监督微调的模型。

    推荐理由:原文给出活跃参数不足 1B 的 MoE 模型在数学和编码基准上的具体成绩,以及全 AMD 集群训练和 Markovian RSA 测试时计算方法。

  4. Elon Musk83

    Grok 4.3 [引用 @xai]:Grok 4.3 现已在 xAI API 上线。这是我们迄今为止最快、最智能的模型。 它在 @ArtificialAnlys 排行榜的智能体工具调用和指令遵循方面位居榜首,并在 @ValsAI 的企业领域(如案例法和公司金融)中排名第一。 Grok 4.3 支持 100 万 token 的上下文窗口,定价为输入每百万 token 1.25 美元,输出每百万 token 2.50 美元。 创建 API 密钥并开始构建:http://console.x.ai/team/default/api-keys

    引用xAI@xai

    Grok 4.3 现已上线 xAI API。这是迄今为止我们最快、最智能的模型。 它在 @ArtificialAnlys 的智能体工具调用和指令跟随排行榜上位居榜首,并且在 @ValsAI 的企业领域(如判例法和公司金融)中排名第一。 Grok 4.3 支持 100 万模型 token 的上下文窗口,定价为每百万输入 token 1.25 美元,每百万输出 token 2.50 美元。 创建 API 密钥并开始构建:http://console.x.ai/team/default/api-keys

    推荐理由:Grok 4.3 把 agentic tool calling 和指令遵循两个榜单压在脚下,百万上下文配上亲民价格,对做自动化 agent 的团队是个够分量的信号。

  5. OpenAI:官网动态82

    GPT-5.5 Instant:更智能、更清晰、更个性化

    ChatGPT的默认模型已更新为GPT-5.5 Instant。新版模型能提供更智能、更准确的答案,并有效减少了幻觉现象。同时,用户获得了更强的个性化控制能力,使交互体验更贴合个人需求。此次升级标志着模型在理解精度与响应定制化方面取得了显著进步。

    推荐理由:ChatGPT默认模型替换为GPT-5.5 Instant,不只是变聪明,幻觉减少和个性化控制才是真改进,每个用户都能马上感觉到不同。

5月5日周二
  1. Runway:News55

    60倍速冷启动:将同级GPU视为权重服务器

    Runway平台团队开发的NCCLBack系统,通过P2P权重传输将模型冷启动时间从数分钟缩短至数秒。其核心创新在于让新启动的GPU推理节点直接从集群内已加载权重的同级GPU获取模型参数,而非从云存储重复下载。该系统利用GPU互连(如InfiniBand、NVLink)高达200-400 Gbps的带宽,相比传统存储下载的2-10 Gbps实现了数量级提升。通过Redis协调与NCCL广播原语,NCCLBack确保了数据传输的效率和正确性,使得大规模集群部署新模型时,冷启动时间不随节点数量线性增长,基本保持恒定。

    推荐理由:Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。

  2. Apple Machine Learning Research66

    PORTool: 基于奖励树和重要性感知的策略优化方法,用于多工具集成推理

    研究团队提出PORTool算法,以解决多工具集成推理中仅依靠结果奖励导致的信用分配模糊问题。该方法通过重要性感知策略优化,在结果级监督下强化智能体的工具使用能力,同时实现步骤级奖励分配。PORTool生成奖励树来明确关键决策步骤,从而更精确地引导模型学习有效的工具调用序列,提升复杂任务解决的效率和可靠性。

    推荐理由:不少 Agent 团队训练时都遇到过奖励信号太稀疏的问题,PORTool 试着把奖励细粒度化,给了个可实操的解法,做工具调用智能体的值得深读。

  3. Google Developers Blog66

    在谷歌TPU上实现3倍加速:UCSD利用扩散式推测解码优化LLM推理

    加州大学圣地亚哥分校的研究团队在谷歌TPU上成功部署了DFlash,一种基于块扩散的推测解码方法。该方法突破传统自回归草稿生成的序列性瓶颈,通过单次前向传播并行“绘制”整个候选令牌块,而非逐个预测。系统平均实现了3.13倍的推理加速,峰值性能接近EAGLE-3等现有方法的两倍。这一开源方案已集成至vLLM生态系统,通过利用“免费”的并行验证能力和针对复杂推理任务的高质量草稿预测,显著优化了TPU硬件的利用效率。

    推荐理由:把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。

  4. Tomasz Tunguz 博客63

    每日仅需8条广告,广告支持型AI的经济可行性分析

    基于开源模型和商用GPU的广告支持型AI在经济上可行。计算表明,一个由4块B200 GPU组成的集群服务300名用户时,每小时成本约18美元。通过广告收入即可覆盖成本:在内容网络中每3分钟展示一条广告(CPM 3.12美元),或在搜索广告中每39分钟展示一条(CPM 38.40美元),这一广告频率已与常见的移动和网页应用相当。对于代码代理等高强度任务,可采用混合盈利模式:用户每月支付10美元订阅费并每日观看8条广告,即可支持约200万token的用量,这证明了该模式的实用性。

    推荐理由:Tunguz 用一页纸的算账说清了广告支持 AI 的经济账,一天看 8 条广告就能换两百万 token,这对做免费 AI 产品的团队是个真正有说服力的模型。

5月4日周一
  1. Goodfire Research69

    Goodfire Research 研究发现模型的言语化评测意识会推高安全基准测出的安全性

    Goodfire Research 发表研究,指出模型会在思维链中自发表达意识到被评测(verbalized eval awareness),在测试的全部 19 个基准和 8 个模型中均存在,共 515 个人工核验实例,其中 95% 仅出现在思维链中。

    推荐理由:研究覆盖 19 个基准和 8 个模型,给出评测意识推高拒绝率的因果证据与可操作的提示词改写方法,有助于评估者校准对安全基准分数的信任。

5月2日周六
  1. François Chollet70

    强化学习在已知领域能提升模型性能,但在未知领域可能导致模型产生幻觉,误以为在执行其他训练过的任务。这一现象在GPT-5.5等大模型的ARC AGI 3基准测试中有所体现,其得分仅为0.43%,与Claude 4.6、Gemini 3.1等模型表现相近。分析指出GPT-5.5的主要失败原因包括:局部效应正确但世界模型错误、从训练数据中提取的抽象层级不当,以及虽解决问题却未强化奖励机制。深入分析此类失败案例,有助于全面理解大模型在特定模态上的能力局限与改进方向。

    引用Chris@chatgpt21

    GPT-5.5 在 ARC AGI 3 上得分 0.43%! - GPT-5.5:0.43% - Opus 4.7:0.18% - GPT-5.4:0.20% - Claude 4.6:0.45% - Gemini 3.1:0.4% GPT 5.5 报告的失败原因包括: - 真实的局部效果,错误的世界模型 - 来自训练数据的抽象层级错误 - 解决了关卡,但没有强化奖励 我认为完整的分析将帮助 OpenAI 全面理解模型在某些模态中失败的地方

    推荐理由:Chollet 用 ARC AGI 3 冷冰冰的数字撕开了 RL 的局限,GPT-5.5 0.43% 的得分说明在未知领域模型会做完全不相干的事,比任何安全论文都来得更直击要害。

5月1日周五
4月30日周四
  1. IT之家·人工智能72

    DeepSeek 公布多模态模型技术报告

    DeepSeek发布了多模态大模型及技术报告,提出创新的“基于视觉原语的思考”框架。该框架将点、边界框等视觉元素作为推理的基本单元,旨在解决多模态模型在空间参照任务中存在的“参照鸿沟”核心问题,使模型能将抽象认知锚定到图像的具体坐标上。尽管模型规模紧凑且图像标记预算较低,其在多项挑战性计数和空间推理基准测试上的性能,可与GPT-5.4等前沿模型相媲美。

    推荐理由:DeepSeek 把视觉概念直接变成推理单元,绕开了语言描述空间的先天模糊,在空间推理上把自家紧凑模型拉到和 GPT-5.4 一个水平,做多模态应用的人值得细读。