跳到正文

技术方向

推理能力 最新动态

让大模型先想再答的能力:思维链、推理模型,数学与逻辑评测上的突破和争议。

573 条精选近 30 天 43 条共收录 2,921 条

更新

精选归档 · 第 13 页

6月18日周四第 241–260 条
  1. The Decoder:AI News78

    Nature两篇研究:MIRA和AMIE诊断与治疗计划媲美甚至超越医生

    德国团队开发的MIRA智能体在模拟电子病历中操作85,000种选项,500余例急诊诊断准确率88.9%,对比测试(311例)得分87.8%,高于资深专科医生(78.1%)和混合团队(71.1%)。MIRA在阑尾炎(98.6%)和胰腺炎(92.3%)最佳,未发现危险药物交互或剂量错误,性能不受语言影响,代码已公开。谷歌AMIE采用双智能体架构,在100个多访视病例中治疗计划适切率95%(初级保健医生72%),并在药物知识基准RxQA上超过医生。两项研究均警告模拟环境与现实存在差距,实际性能可能更低。

    推荐理由:两项 Nature 研究把 AI 诊断推到了和医生掰手腕的水平,但更值得关注的是那个被埋起来的实验:更强的模型一上来,精心搭建的 double-agent 架构几乎归零。医疗 AI 的护城河可能不是架构而是接入院内系统的能力。

  2. xAI:News61

    Grok 4.3 在 Amazon Bedrock 正式可用

    6 月 17 日,xAI 宣布 Grok 4.3 在 Amazon Bedrock 上全面可用。该模型在前沿模型中达成最低幻觉率,支持 100 万 token 上下文窗口,并提供可配置推理努力(none/low/medium/high)。在 Artificial Analysis Omniscience 基准排名第一,在 Tau2 Telecom 基准评估客服智能体真实工具调用性能排名第一,在 Vals AI Case Law 和 Corporate Finance 基准的复杂文档理解任务排名第一。定价为输入每百万 token 1.25 美元、输出每百万 token 2.50 美元,每美元智能度是其他前沿模型的 2–10 倍。

    推荐理由:Grok 4.3 登陆 Bedrock,把极低幻觉率和可配置推理带给了 AWS 用户,价格也摆在了 Pareto 前沿,不过本质上是一次渠道扩展而非模型突破,企业开发者可以尝鲜。

  3. LMSYS Blog69

    用SGLang-JAX在TPU上优化Ling-2.6-1T:一个Pallas核将MoE数据移动隐藏在计算中

    SGLang-JAX现已支持inclusionAI的Ling-2.6-1T(1T稀疏MoE,63B激活参数,256路由专家,top-8路由加共享专家)在TPU v7x上高效推理。团队开发了Fused MoE V2——一个融合scatter、专家FFN和gather的Pallas核,通过将MoE数据移动隐藏在计算中,使MoE预填充延迟从5.16ms降至2.42ms(降幅53%),解码核延迟从0.249ms降至0.211ms(降幅约15%)。仅替换MoE核即提升预填充吞吐量24.8%,解码吞吐量18.5%–35.3%。在SGLang解码基准测试中,16块TPU v7x芯片输出吞吐量达16块H200 GPU的1.29倍(mc=128)至1.77倍(mc=512)。完整上线还包含混合KV/循环内存池、GLA线性注意力和单控制器数据并行支持。

    推荐理由:这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。

6月17日周三
  1. Google Blog:AI55

    Google 医学推理 AI 系统 AMIE 新研究:从诊断迈向长期疾病管理

    今日发表在《自然》杂志上的研究展示了 Google 的医学推理 AI 系统 AMIE(Articulate Medical Intelligence Explorer)从单次诊断对话演进到长期疾病管理的能力。AMIE 利用 Gemini 模型的长上下文能力,整合共情对话智能体和深度思考管理推理智能体,可交叉引用数百页临床指南。在盲测中,AMIE 与 21 名初级保健医生相比,在整体管理推理上匹配临床医生,在计划精确性和指南一致性上得分显著更高。

    推荐理由:Google 把医疗 AI 从一次诊断推到了长期疾病管理,Nature 上的对照实验显示它在计划精确性上甚至优于初级保健医生,做数字健康的人值得认真读一下。

  2. Hugging Face 社区博客83

    GLM-5.2:为长周期任务而生

    GLM-5.2 发布,支持 1M token 上下文,采用 IndexShare 架构——每 4 个稀疏注意力层共用一个轻量索引器,将 1M 上下文下每 token FLOPs 降低 2.9 倍;MTP 层改进使推测解码接受长度提升 20%。长周期编码基准上,FrontierSWE 落后 Opus 4.8 仅 1%、领先 GPT-5.5 1%;PostTrainBench 仅次于 Opus 4.8;SWE-Marathon 落后 Opus 4.8 13% 但排名第二。标准编码测试 Terminal-Bench 2.1 获 81.0 分(GLM-5.1 为 63.5),接近 Opus 4.8 的 85.0。模型引入努力级别控制以平衡性能与延迟。MIT 开源许可,无地域限制。

    推荐理由:GLM-5.2 是第一个在长程编码基准上直逼 Opus 4.8 的开源模型,MIT 许可无地域限制,开源生态终于有了能打硬仗的长上下文工具。

  3. MarkTechPost70

    MiniMax 发布 MSA 稀疏注意力方法,开源推理内核并推出 MiniMax-M3 模型

    MiniMax 发布 MSA(MiniMax Sparse Attention),一种构建在 Grouped Query Attention 上的稀疏注意力方法。它将注意力分解为索引分支与主分支:索引分支以块粒度(默认 128 token)为每个 GQA 组选择 16 个 token 块(固定预算 2048 个键值 token),主分支仅在这些块上执行精确 softmax 注意力。MSA 在 109B 参数 MoE 模型上训练,开源了面向 NVIDIA SM100 GPU 的推理内核 `fmha_sm100`(MIT 许可,支持 BF16/FP8/NVFP4/FP4),并发布生产模型 MiniMax-M3。MSA-PT 在 MMLU、GSM8K、HumanEval、RULER-8K、RULER-32K 上分别达 67.2、77.7、64.0、84.2、77.5,与全注意力基线持平。128K 上下文下,其 exp-free Top-k 选择比 `torch.topk` 快 5.1 倍。

    推荐理由:MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。

6月16日周二
  1. 公众号:小米 MiMo61

    Xiaomi MiMo Claw 正式版发布:搭载 MiMo-V2.5-Pro 旗舰模型,联动金山办公上线订阅服务

    小米发布云端轻量化 Claw 类产品 MiMo Claw 正式版,搭载与 OpenClaw 框架深度适配的 MiMo-V2.5-Pro 旗舰模型,原生支持 MCP 协议与百万级超长上下文。

    推荐理由:正式版嵌入金山办公生态,把 Agent 能力从实验室工具转向按订阅交付的办公闭环,文档一站式生成-预览-编辑减少了多工具跳转。

  2. 公众号:蚂蚁百灵79

    蚂蚁百灵发布 Ling & Ring 2.6 技术报告

    蚂蚁百灵发布 Ling & Ring 2.6 技术报告,系统公开 Ling-2.6-flash、Ling-2.6-1T 和 Ring-2.6-1T 的架构、预训练、后训练及 Agent 强化学习细节。三款模型采用 Hybrid Linear Attention 架构,将 Lightning Attention 与 MLA 以 7:1 比例结合。Ling-2.6-flash 在 4×H20 硬件上解码速度达 340 tokens/s,Ling-2.6-1T 在 Artificial Analysis Intelligence Index 上 token efficiency 较前代提升约 4 倍。Ring-2.6-1T high 在 PinchBench 得 87.60,ClawEval 得 63.82。三款模型均已开源。

    推荐理由:蚂蚁百灵2.6技术报告首次公开Hybrid Linear Attention与KPop Agent RL细节,开源模型在OpenClaw登顶,把万亿模型从聊天拉到真实工作流,做Agent应用的值得细读。

  3. 公众号:蚂蚁百灵77

    蚂蚁百灵发布 Ling & Ring 2.6 技术报告

    蚂蚁百灵发布 Ling & Ring 2.6 技术报告,公开 2.6 系列在架构、预训练、后训练及 Agent 强化学习等细节。该系列采用 Lightning Attention 与 MLA 以 7:1 比例结合的混合线性注意力架构,预训练处理约 9.6T tokens,上下文扩展至 256K。

    推荐理由:报告系统公开了万亿参数模型在架构迁移、Agent RL和推理基础设施上的完整技术链路,为设计高性能Agent系统提供了可复现的工程方案。

  4. LMSYS Blog67

    下一代投机解码:DFlash 与 Spec V2

    Z Lab、Modal 与 SGLang 团队联合发布 DFlash 投机解码模型和 SGLang 的默认 Spec V2 引擎。DFlash 采用块扩散+KV 注入并行生成整块 draft token,在 Qwen 3.5 397B-A17B(BF16)的 HumanEval 数据集上、并发 1 时吞吐量达到基线的 4.3

    推荐理由:DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。

  5. Berkeley RDI:Blog68

    SageCTF:最强大CTF挑战AI智能体

    UC Santa Barbara与UC Berkeley团队基于OpenSage框架构建了CTF专用智能体SageCTF。在DEF CON CTF 2026资格赛中,SageCTF以单人玩家身份尝试15道挑战,成功攻克7道、恢复8个flag,总计1,743分,排名前5%,超越全部自评“不使用AI”或“低AI”的175支团队。在50道近期CTF挑战的对比测试中,SageCTF以Claude-Opus-4.6为主模型,在相同预算(每道$200/10小时)下解出39道,而Claude Code仅解出13道,且Claude Code的解出全部被SageCTF覆盖。技术核心包括AI自生成拓扑、多智能体通信、分层记忆及多模型协同编排。

    推荐理由:SageCTF 在 DEF CON CTF 排进前 5%,是 AI agent 在顶级安全竞赛中的首次重大突破。OpenSage 的自构建多智能体架构和十小时持续探索的能力,给做复杂推理工具的人提供了真参考。

6月15日周一
  1. 公众号:MiniMax72

    MiniMax 开源原生多模态旗舰模型 M3,总参数 428B

    MiniMax 上周五开源 M3 模型权重,并发布 MSA 稀疏注意力技术论文。M3 总参数 428B、激活参数 23B,是首个从 Step 0 进行多模态混合训练的开源模型,发布两周即在 Artificial Analysis 综合智能指数上位列全球开源模型第一。目前输出速度已从约 30 TPS 提升至约 80 TPS,官方称还将继续提速 30-40%。

    推荐理由:MSA 注意力机制让长上下文计算成本大幅下降,对于在长文档处理或复杂推理场景下需要控制成本的团队,M3 的开源提供了一种新的选型依据。

  2. 公众号:月之暗面69

    6倍速!Kimi K2.7 Code 高速版已上线

    Kimi K2.7 Code 高速版上线,与普通版为同一模型,输出速度约 5-6 倍,常规编程场景约 180 Token/s,短上下文可达 260 Token/s。API 定价为普通版 2 倍,模型 ID:kimi-k2.7-code-highspeed。Kimi Code Plan 用户可通过「抢先体验计划」使用,用量消耗为普通版 3 倍。使用须开启思考模式,关闭会报错或回退至 K2.6。庆祝发布,Kimi API 开放平台推出为期三周充赠活动,充值 500 元及以上享 20%-30% 代金券。相比 K2.6,K2.7 Code 在长上下文编程指令遵循、长程任务性能提升,平均 token 消耗减少 30%,内部基准测试显著提升。普通版输入 6.5 元/百万 token、输出 27 元,缓存输入 1.3 元。非编程任务推荐 K2.6。

    推荐理由:这不是 K2.7 的换代,而是给开发者开了条高速车道,180 token/s 让代码补全几乎无感,虽然贵但省时间,重度编程用户值得切。

  3. 公众号:月之暗面62

    Kimi K2.7 Code 高速版上线:输出速度约 5-6 倍,API 定价为普通版 2 倍

    Kimi K2.7 Code 高速版已上线,与普通版为同一模型,输出速度约 5-6 倍,常规编程场景下约 180 Token/s,短上下文可达 260 Token/s,API 定价为普通版的 2 倍。

    推荐理由:代码生成延迟是编程模型体验的关键短板,180 token/s 的高输出速度使长上下文任务中的等待感显著缩短,而 2 倍定价并没有让成本增速高于效率提升。

6月14日周日
6月13日周六
  1. IT之家·人工智能73

    SemiAnalysis 洞察 Token 经济:200 美元 AI 订阅榨出 70 倍用量

    SemiAnalysis 购买了 Anthropic 和 OpenAI 的全部订阅方案,模拟高强度编码任务直至触及每周上限。月费 200 美元的 Claude Max 20x 方案,按 API 价格换算最高可消耗约值 8000 美元的 token;ChatGPT Pro 20x 方案对应最高约值 14000 美元的 token。用户通过订阅可获取 40 至 70 倍的 API 价值,该机构指出这种价格体系在重度用户持续榨满上限后可能难以长期维持。

    推荐理由:SemiAnalysis 通过高强度编码测试戳破了 200 美元订阅的真实性价比,虽然数据来自推文未附复现步骤,但这个价差足够让重度用户重新算账。

  2. MiniMax (official)82

    MiniMax M3 发布,具备前沿编码与智能体能力,原生图像视频输入和计算机使用,1M-token 上下文。核心采用 MSA 稀疏注意力:每个 query 评分 128-token KV 块,仅对 top 块做注意力。vLLM 当日即支持 M3,包括专用 MSA prefill/decode 核、前缀缓存与分块 prefill、BF16 和 MXFP8 检查点、Hopper 与 Blackwell 的 MoE 后端,并在 NVIDIA 与 AMD 硬件上验证。同时支持原生多模态输入、工具调用、推理解析和思考模式控制等智能体工作负载。

    引用vLLM@vllm_project

    🎉 恭喜 @MiniMax_AI 发布 MiniMax M3!前沿的编程与智能体能力、原生图像和视频输入、计算机使用,以及 100 万 token 上下文窗口,全部集成在一个开放模型中。 M3 的核心是 MSA,一种全新的稀疏注意力架构:它不再对完整的 KV 缓存进行密集注意力计算,而是让每个查询对 128 token 的 KV 块打分,并仅对得分最高的块运行注意力。这正是让 100 万 token 上下文变得可实际服务的关键。 M3 在 vLLM 中实现首日支持,并已在 NVIDIA 和 AMD 硬件上验证: ✨ 带专用 prefill 和 decode 内核的 MSA 稀疏注意力 ✨ 支持前缀缓存和分块 prefill 的 100 万 token 上下文服务 ✨ BF16 和 MXFP8 检查点,同时为 Hopper 和 Blackwell 提供 MoE 后端 ✨ 原生多模态输入(图像 + 视频) ✨ 面向智能体工作负载的工具调用、推理解析和思考模式控制 这样的首日支持是真正的团队协作成果。感谢 @MiniMax_AI、@NVIDIAAI、@AIatAMD 和 @inferact 的团队,以及 vLLM 社区让这一切成为可能。🙏 深入了解实现细节、内核工作和部署方案: 🔗 https://vllm.ai/blog/2026-06-12-minimax-m3-vllm

    推荐理由:M3把1M上下文从‘理论上能做’变成了‘今天就能部署’,MSA稀疏注意力是关键,开源社区和推理框架的深度合作值得关注。

6月12日周五
  1. vLLM 官方博客70

    vLLM 发布 MiniMax M3 Day-0 支持:1M 上下文多模态推理

    vLLM 宣布对 MiniMax M3 的 day-0 支持,覆盖 BF16 与 MXFP8 检查点,支持 1M-token 上下文、原生图像视频输入、minimax_m3 工具与推理解析器、EAGLE3 推测解码(草稿模型 Inferact/MiniMax-M3-EAGLE3)以及 TP/EP 部署和 Docker 镜像。

    推荐理由:官方团队拆解了 MSA 稀疏注意力、MXFP8 MoE 与 EAGLE3 在推理引擎中的落地细节,部署者可以照此选择 NVIDIA 或 AMD 配置并理解瓶颈所在。

6月11日周四
  1. 公众号:腾讯混元78

    腾讯混元 AI Infra 新开源:HPC-Ops 推理核心算子全面升级

    腾讯混元 AI Infra 团队开源升级 HPC-Ops 推理算子库,推出五大核心算子。Attention 采用运行时动态负载调度,长文本最高加速 2.95x,端到端 QPM 提升 17%;Router GEMM 以双 BF16 组合实现 FP32 精度,对比 CuBLAS FP32 最高提速 3.22x;FusedMoE 相对 vLLM、SGLang 性能提升 1.2x~1.6x;Fused AllReduce+Norm 对比主流方案最高提速 1.68x;Sampler 将解码采样融合为 2 个 CUDA Kernel,相对 vLLM 提速 4.0x~7.5x。所有能力均来自生产实践并完全开源。

    推荐理由:腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。