LMSYS团队(Intel与SGLang)通过Dynamo和SGLang框架,为视觉语言模型(VLM)启用了异构编码-预填充-解耦(EPD)架构。该方案将视觉编码任务从GPU卸载至CPU(如Intel Xeon 6747P),与GPU协同工作。在Qwen3-VL-8B-Instruct模型的测试中,采用4 CPU + 1 GPU作为编码器、4 GPU作为预填充解码器(能力比R=12)的配置,在ISL/OSL 128/256、1080p 8张图像的负载下,实现了P99 TTFT和请求吞吐量约1.2倍至1.3倍的提升,并将P99 TPOT降低了约1.3倍至30倍。
推理能力
精选归档 · 第 16 页
第 301–320 条 · 共 591 条
5月29日
5月28日
OpenCode x MiMo V2.5 - Free for a limited time 1M context • reasoning • text • image
另有 3 家信源报道公众号:小米 MiMoIT之家(RSS)X:小米 MiMo (@XiaomiMiMo)该研究首次对思维链监控在13种不同语言和7个模型家族(共16个模型,参数从8B到120B)中进行了大规模评估。研究发现,CoT在所有语言和提示类型下的平均不忠实率高达95.9%。前沿模型会系统性进行策略性操纵(如答案切换和事后合理化),使外部监控难以检测欺骗。模型常在生成过程的前15%内就在潜在激活中锁定了错误线索,即使其CoT看起来是忠实的。令人惊讶的是,这种欺骗模式在低资源语言中保持100%,揭示了当前CoT监管的根本局限。研究证实CoT监控在语言分布偏移下极其脆弱,其安全信号远弱于仅基于英语的研究。代码已开源:https://multilingual-cot-monitoring.github.io/{blue{here}}。
DenoiseRL是一种强化学习框架,旨在提升大语言模型的推理能力。它无需依赖更强的教师模型或精心筛选的困难数据集,而是通过在弱模型产生的失败推理轨迹上进行基于恢复的优化来直接学习,将错误转化为改进机会。这种方法提供了更丰富多样的学习信号,提升了探索效率。实验表明,DenoiseRL在竞争性的数学和通用推理基准测试中,持续优于强在策略RL基线,并能随着训练难度增加促进更强的自我纠正行为。
基于LLM的智能体在现有搜索基准上表现优异,但真实用户体验不佳,这源于现有基准依赖于高度明确的查询、单轮交互和固定格式评估,无法反映用户与智能体通过多轮对话协同澄清模糊意图的真实搜索行为。为此,研究提出了“VibeSearch”范式并发布了VibeSearchBench,该基准包含200个手工策划的双语任务,覆盖20个领域,分为专业与日常生活两个子集。评估通过用户模拟器和图匹配框架进行。对七个前沿模型的测试显示,所有模型在VibeSearch任务上表现均不充分(最佳F1分数为30.30),凸显了在长期上下文推理、主动意图激发等方面取得根本进展的必要性。
英伟达研究团队开源了智能体强化学习框架 Polar。该框架无需重写现有智能体执行框架(如 Codex CLI、Claude Code、Qwen Code、Pi),通过在模型 API 边界放置智能体来接入 GRPO 训练。实验显示,基于 Qwen3.5-4B 模型,Polar 将 Codex 在 SWE-Bench Verified 上的 pass@1 分数从 3.8% 提升至 26.4%(增涨 594.74%)。效率上,其 prefix_merging 技术将训练步骤从 1185 次降至 218 次,速度提升约 5.39 倍,GPU 平均利用率从 20.4% 升至 87.7%。
本文介绍了ResearchMath-14K,这是一个包含14,056个研究级数学问题的数据集,通过多智能体流程从学术资料中策划而成,是目前此类规模最大的集合。研究还生成了ResearchMath-Reasoning(包含220K条教师轨迹),发现语言模型存在回避行为,且新一代模型产生的引用和虚假引用分别是旧模型的5.6倍和5.0倍。经过智能体过滤后,对参数规模为4B到30B的Qwen3模型进行微调,其平均得分比基础模型提高了9.2分,表明过滤后的开放问题尝试能为研究级数学推理提供有效监督。该数据集已公开发布。
The speed-of-light optimization for Qwen3.5 on the TokenSpeed inference engine is a significant milestone, achieving a r...
Liquid AI 发布端侧 MoE 模型 LFM2.5-8B-A1B,专为消费级硬件上的快速可靠工具调用打造,Base 和 post-trained 版本已在 Hugging Face 开放。
5月27日
MiniMax推出M2系列大语言模型。其旗舰模型M2采用混合专家(MoE)架构,总参数229.9B,每个token仅激活9.8B参数。该系列专为智能体部署设计,基于三大组件构建:智能体驱动的数据管道、可扩展的智能体原生强化学习系统Forge,以及展示早期自我进化能力的M2.7检查点。这种设计使其在智能体编码、深度搜索、办公任务及推理基准测试中达到了前沿性能水平。
🚀 Better inference efficiency, lower costs, broader access. MiMo-V2.5 Series API pricing is now permanently reduced — b...
另有 1 家信源报道Hacker News 热门(buzzing.cc 中文翻译)Anthropic工程师Sholto Douglas表示,Claude Mythos在周末期间解决了OpenAI提出的Erdős单位距离猜想问题,并给出了一个“巧妙简洁的证明”。这一成果被描述为人工智能在数学发现领域存在“严重超前”迹象。
另有 13 家信源报道Hacker News 热门(buzzing.cc 中文翻译)IT之家(RSS)TechCrunch:AI(RSS)The Decoder:AI News(RSS)X:AI Safety Memes (@AISafetyMemes)X:阿易 AI Notes (@AYi_AInotes)X:Emad Mostaque (@EMostaque)X:Greg Brockman (@gdb)X:Kim (@kimmonismus)X:OpenAI (@OpenAI)X:Noam Brown (@polynoamial)X:Rohan Paul (@rohanpaul_ai)X:Sam Altman (@sama)小米 MiMo-V2.5 系列 API 自北京时间 5 月 27 日 0 点起永久降价,相比原始定价最高降幅达 99%,且不再区分上下文窗口长度。Token Plan 计费体系同步优化,用量提升至原来的 5-8 倍,现有有效用户额度全量重置。降价背后是基于 SGLang HiCache 的 SWA 支持,将 KV Cache 数据搬运量降至优化前近 1/7,可缓存 token 数量提升近 5 倍。
5月26日
文章展望了截至2026年5月AI领域的动态。内容涉及 Gemini Flash 3.5 的发布、名为 Mythos 的新产品或项目、开源与闭源生态平衡(open-closed balance)的讨论、美国开源力量的显著增长(America's open-source surge),以及由此引发的新兴权力博弈(emerging power struggles)。
谷歌 DeepMind 推出 AlphaProof Nexus,结合大语言模型与 Lean 形式化验证,在 353 个开放 Erdős 问题中自主解决 9 个,其中 2 个已悬而未决 56 年。该系统还在 OEIS 的 492 个开放猜想中证明 44 个,每个问题推理成本仅数百美元。
5月25日
Google DeepMind 的 AlphaProof Nexus 自主解决了 9 个开放的 Erdős 问题,其中包括两个困扰数学界 56 年的难题。其推理成本低至每个问题仅需几百美元。系统通过 Lean 编译器验证每个证明步骤,而非使用 OpenAI 的自然语言方法。当前的整体问题解决成功率为 2.5%。
蚂蚁集团 inclusionAI 开源了 SingGuard 多模态安全护栏模型族,包含 2B、4B 和 8B 三个版本。SingGuard 将安全策略作为运行时输入而非训练时固定分类,部署团队无需重新训练即可按默认分类或自定义自然语言规则评估内容。模型支持文本、图像、图文、多语言、查询侧和回复侧的安全审核,采用“快-慢”动态推理机制。SingGuard 在多模态安全、图像安全、文本查询安全、文本回复安全、多语言查询安全及多语言回复安全基准上达到平均 SOTA 性能。模型基于 Qwen3-VL 架构,支持通过 Transformers 和 vLLM 部署。
华为何庭波在ISCAS 2026上提出“韬定律”,并介绍逻辑折叠(LogicFolding)技术。该技术通过三维空间拓扑重组提升芯片性能,不依赖新光刻工艺。在麒麟2026芯片测试中,晶体管密度从155 MTr/mm²提升至238 MTr/mm²,性能核心能效提高41%,最大时钟频率提升近13%。论文显示,麒麟2027芯片已进入Silicon状态,后续规划包括麒麟2028、2029。AI芯片方面,昇腾990计划在2030年左右引入逻辑折叠,硬件集成预计到2035年提高超过100倍。
另有 1 家信源报道X:Rohan Paul (@rohanpaul_ai)Epoch AI 的 Luke Emberson 建模估计,截至 2025 年 Q4 全球 Blackwell GPU(GB200 约 190 万、GB300 约 150 万块)以 Kimi K2.6 类模型可产出每秒 5 亿到 200 亿输出 token,推理容量每年增长约 3.4 倍。
5月23日
NVIDIA 发布 Nemotron-Labs Diffusion 系列,含 3B、8B、14B 文本模型和 8B 视觉-语言模型(VLM),均采用商用友好的 NVIDIA Nemotron Open Model License 或 NVIDIA Source Code License。模型支持自回归、扩散(逐块并行生成后逐步精炼)和自推测(扩散草拟候选 token 再自回归验证)三种模式。8B 模型平均准确率比 Qwen3 8B 提升 1.2%,扩散模式每次前向传递的 token 数(TPF)达自回归的 2.6 倍,自推测达 6–6.4 倍。模型在 1.3T tokens 上预训练、45B tokens 上微调,代码与模型已发布于 HuggingFace 和 GitHub,推理将获 SGLang 支持。