跳到正文
  1. Moonshot AI:Kimi Blog81

    月之暗面发布 Kimi K3.1 Pro,100 万 token 上下文,开放权重将于 11 月 4 日前释出

    月之暗面发布 Kimi K3.1 系列首个模型 Kimi K3.1 Pro,为 3T 级开放权重模型,上下文窗口 100 万 token,并同步推出速度快 2-3 倍的 Kimi K3.1 Pro Highspeed。

    推荐理由:官方公布了关键基准成绩、开放权重时间表和网络安全数据清理做法,读者可据此评估这代开放权重模型的实际能力边界。

  1. 公众号:MiniMax71

    MiniMax 开源 M3.1 Flash,总参数 428B,上线 72 小时处理 Token 超 100 万亿

    MiniMax 开源 M3.1 Flash 模型权重,总参数 428B,激活参数 23B,上线 72 小时内真实用户处理 Token 超过 100 万亿。

    推荐理由:官方开源公告给出参数规模、稀疏注意力与 QAT 等效率优化细节,可据此评估该模型在多芯片环境下的部署价值。

  1. Fireworks AI76

    Meta 开放权重模型 Muse Spark Open 上线 Fireworks 美国区 serverless

    Meta 的开放权重模型 Muse Spark Open 在 Fireworks 上线 Day-0 serverless,为 816B 参数 MoE 架构,每 token 激活 42B 参数,支持 1M token 上下文窗口。

    推荐理由:Fireworks 给出了 Muse Spark Open 在法律、金融、医疗等多个独立基准的具体分数和上线方式,读者可据此评估其在受监管工作中的适用性。

  2. PyTorch:Blog74

    Google 与 Meta 发布 TorchTPU:PyTorch 原生 TPU 后端

    Google 与 Meta 联合开源 TorchTPU,为 Google TPU 提供原生 PyTorch 后端,模型只需把 .to("cuda") 改成 .to("tpu") 即可开箱运行,无需 JAX 依赖。

    推荐理由:原文详述架构、精度模式与多个训练推理案例,读者可据此评估把 PyTorch 工作流迁移到 TPU 的成本。

  1. Google Developers Blog71

    Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎

    Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎,分别与 Inferact、RadixArk 合作开发,让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。

    推荐理由:原文给出两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口,读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性。

  2. IBM Research:AI60

    llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪

    IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持任意模型、任意加速器和任意云。

    推荐理由:原文给出 llm-d 1.0 的具体能力变化和实测成本数据,读者可据此评估自建推理基础设施是否划算。

  3. meng shao83

    DeepSeek 开源支撑其线上生产服务的高性能推理框架 DeepInfer,基于 Apache 2.0 许可证,并同步发布技术报告。框架集成 FlashMLA、DeepGEMM、DeepEP 等此前开源内核,加上调度、并行、DSpark 投机解码等系统层实现,同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。

    引用meng shao@shao__meng

    DeepSeek 居然把支撑他们大规模生产服务的高性能推理框架开源了:DeepInfer 这是 DeepSeek 线上真实跑 DeepSeek 服务的同源技术栈首次对外公开,本次发布聚焦离线推理,采用 Apache 2.0 许可证,主要基于 @vllm_project 构建,并借鉴了 @sgl_project 和 TensorRT-LLM。 开源地址:https://github.com/deepseek-ai/DeepInfer DeepSeek 此前已陆续开源了推理栈的“零件”:FlashMLA(MLA 注意力内核)、DeepGEMM(矩阵乘法内核)、DeepEP(MoE 通信库)、EPLB(专家负载均衡)等,但一直缺少把它们组装成完整引擎的“骨架”。DeepInfer 补上了这一环:它是这些内核的集成者,加上调度、并行、投机解码等系统层的完整实现。配合本次同时出现的 DeepSeek-V4.1-Flash 模型,构成了“模型 + 引擎”的完整开源推理方案。硬件层面同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU,双平台支持是它的一个鲜明特征。 # 核心技术拆解 1. 内核与运行时。 集成 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect,以及用 TileLang 编写的自定义内核(位于 deepinfer/model_executor/layers/tilelang_ops)。这些是吞吐和延迟的底层保障。 2. 并行策略:Attention 与 MoE 分治。 注意力部分采用 DP(数据并行)或均衡的 CP(上下文并行,处理超长序列);MoE 部分采用 EP(专家并行)加 EPLB(专家并行负载均衡),并支持冗余专家(默认 32 个,向上取整到能被 EP 数整除)来缓解专家负载不均。这种“注意力 DP/CP + MoE EP”的组合是 DeepSeek 生产验证过的架构。 3. DSpark 投机解码。 基于 MTP(multi-token prediction)draft token 加速解码,亮点是“置信度调度验证”;按置信度决定接受多少 draft token,而非固定规则。默认最大 draft 长度 5。这是推理加速比的主要来源之一。 4. YoCo SWA 有界重放。 针对 YoCo 式解码器 + 滑动窗口注意力(SWA)的优化:prefill 时只保留并重放有界的 token 后缀(默认 140 个,需覆盖 SWA 窗口加最大回溯长度),大幅削减 decoder prefill 的计算量。仓库还专门提供了 YoCo mask/compact 等价性验证。 5. 异步调度。 CPU 上的批调度与 GPU/NPU 上的执行重叠,做到“零开销调度器”,默认开启。 6. 批不变与确定性推理。 开启 DEEPINFER_BATCH_INVARIANT=1 后,不同批次组合下结果完全一致;再配合固定 seq_seed、关闭 MTP varlen,可实现逐 token 确定性的采样输出。这对可复现评测和回归测试(仓库用逐样本精确对比的 PPL 基线来把关)很关键,目前仅限 NVIDIA 平台。 7. 结构化输出。 原生支持 regex、JSON schema、EBNF 三种约束生成,通过 SamplingParams 的 so_args 传入。

    推荐理由:DeepSeek 开源了生产同源推理框架 DeepInfer 并公开技术报告,含单集群吞吐与每卡时收入等内部数据,可据此了解其部署架构细节。

  4. 公众号:面壁智能68

    面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行

    面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码超 20 token/s。

    推荐理由:原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。

  1. Arena.ai80

    Arena 公布 Meta 发布的 Muse Spark Open (Max) 在 Code Arena: WebDev 以 1511 分位居美国开源模型第一、开源模型总榜第 13。

    引用AI at Meta@AIatMeta

    今天我们发布 Muse Spark Open,这是迄今为止能力最强的美国开放权重模型。 专为编程和智能体工作打造,它擅长长周期任务、复杂软件工程和多步推理。 关键模型规格: → 816B 总参数 / 42B 激活参数 → 1M token 上下文窗口 → 原生支持文本、图像、视频、音频多模态

    推荐理由:基于 Arena 自家 Code Arena 榜单给出 Muse Spark Open 的具体得分、排名与定价对比,读者可据此定位该开源模型的真实水准。

  1. Artificial Analysis 完整文章61

    Reflection 发布首个开源权重模型 Beam,Artificial Analysis 评测得分 30 居美国开源模型第二

    Artificial Analysis 评测 Reflection 首个模型 Beam,其在 Artificial Analysis Intelligence Index 得 30 分,在美国开源权重模型中排第二,仅次于 Meta 的 Muse Spark Open(39)。

    推荐理由:第三方评测给出 Beam 在美国开源权重模型中的位置与 token 效率数据,可用于横向比较其智能体与编码能力。

  2. Hugging Face 官方团队博客72

    Reflection 发布开源 MoE 模型 Beam 501B,Hugging Face 提供部署与微调指南

    Reflection 首个开源模型 Beam(reflectionai/Beam-1.0-501B-A23B)上线 Hugging Face,是 501B 参数、每 token 激活 23B 的 MoE 模型,支持 1M token 上下文,采用 Apache 2.0 许可,主打编码和智能体场景。

    推荐理由:原文给出架构细节、三档精度 checkpoint、完整评测数据和部署与微调配方,读者可以据此评估在自有硬件上落地的方式。

  3. meng shao78

    商务部、科技部发布第48号联合公告,拟将AI、生物医药、光伏共40项技术增列进《中国禁止出口限制出口技术目录》,并在目录生效前实施临时登记管理,其中AI领域23项,涉及大模型、智能体、算力集群等。

    推荐理由:作者梳理第48号公告的六项设计和开源豁免边界,指出先开源后出口的合规窗口,读者可据此判断开源模型出海路径。

  4. PyTorch:Blog83

    Meta 发布开源权重模型 Muse Spark Open,816B 参数、1M 上下文

    Meta 发布开源权重模型 Muse Spark Open,已在 Hugging Face 以 Muse Model License 提供。模型总参数 816B、激活 42B,上下文窗口 1M token,面向编码与智能体工作流,原生多模态(图像、音频、文档),并相比 8 月发布的 Muse Spark 增加了安全后训练。

    推荐理由:Meta 开放了 Muse Spark 的权重,并给出 Helion 内核与 TorchTitan 微调支持,读者可据此评估其部署与定制路径。

  5. Google Developers Blog61

    Google 介绍 google/adk-recipes 仓库的三层结构与 Agent Platform 集成

    Google Developers Blog 介绍 google/adk-recipes 仓库,它是 google/adk-samples 的重构后继版本,以 core/、plugins/、contrib/ 三层作为 Agent Platform 各入口的单一内容来源。

    推荐理由:官方详解 google/adk-recipes 三层结构,读者可以据此了解同一仓库如何同时服务 Agents CLI、Agent Garden 和 Gemini Enterprise。

  1. Black Forest Labs:Blog77

    Black Forest Labs 发布开源文生图模型 FLUX 3 Image Klein(5.6B)

    Black Forest Labs 发布 5.6B 参数开源权重模型 FLUX 3 Image Klein,支持文生图、图像编辑和最多 10 张参考图的多参考生成,采用 FLUX Kommunity License。

    推荐理由:官方公布了参数规模、显存门槛、生成速度和评测对比,读者可以评估它在本地部署与微调场景中的适配性。

  2. NVIDIA Blog71

    NVIDIA 发布开源 Nemotron 3.5 Super VL 及 Bolt 两款边缘模型

    NVIDIA 发布开源 120B 参数多模态模型 Nemotron 3.5 Super VL,面向高频智能体任务,官方称其准确率可比自家最大推理模型、参数量约为五分之一,吞吐比同类次优模型快至 5 倍;同时推出边缘模型 Bolt 74B-A9B 24GB(原生 2-bit 量化,可本地运行于 RTX/DGX Spark)和 Bolt E4B 4GB(10 月 23 日上线)。

    推荐理由:原文给出三款开放模型各自针对的部署层级和量化、训练数据规模,读者可据此判断哪一档适合自家智能体场景。

  1. 公众号:面壁智能67

    面壁智能等联合开源 PilotDeck 2.0,主打办公全流程交付与长任务稳定运行

    10 月 15 日,清华大学 THUNLP、面壁智能、OpenBMB 与 AI9Stars 联合开发的 AI Agent 工作台 PilotDeck 2.0 正式开源。

    推荐理由:官方开源的 Agent 工作台,给出办公 Skills、长任务续跑与智能路由的实测数据,轻量模型框架选型可参考。

  2. Prime Intellect62

    Prime Intellect 收购 Moondream,联合创始人加入主导推理与多模态

    Prime Intellect 宣布收购 Moondream,创始人 Vik Korrapati 和 Jay Allen 加入并负责推理业务及视觉、computer use 等多模态模型工作。

    推荐理由:收购方官方公告给出交易目的与产品整合方向,并附 Moondream 3.1 的推理速度和成本对比数字,可作了解两家技术互补的参考。