跳到正文
  1. 数字生命卡兹克68

    作者分享受邀参加英伟达 RTX Spark 全球开售活动后,深度使用一周华硕 ProArt 创16(128G 统一内存+1T,京东售价 37999 元)的体验,开售时 128G 版本在京东几分钟内被抢空。

    推荐理由:作者亲测 RTX Spark 上的本地模型部署路径,并把整套流程封装成 WorkBuddy 专家,读者可以照着复现本地 Token 自由的用法。

  1. 公众号:数字生命卡兹克67

    卡兹克实测37999元RTX Spark轻薄本:一周实现本地Token自由

    数字生命卡兹克分享华硕ProArt创16(RTX Spark N1X芯片、128G统一内存、37999元)的一周深度使用体验,该机全球开售时128G版本在京东几分钟内被抢空。

    推荐理由:作者用一周实测讲清了如何在128G统一内存的RTX Spark笔记本上部署本地模型,并给出可复用的WorkBuddy专家整合流程。

  1. vLLM 官方博客65

    vLLM 实现 Reflection Beam 501B MoE 模型 Day 0 支持

    vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型,这是一个 501B 参数、每 token 激活 23B 的 MoE 模型,在 NVIDIA Blackwell 上完成优化。

    推荐理由:原文给出了 Beam 在 vLLM 上的具体优化数据和部署命令,读者可以直接评估落地配置与吞吐收益。

  2. LMSYS Blog64

    SGLang 为 816B 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 支持

    SGLang 团队宣布对 Meta 开源多模态 MoE 模型 Muse Spark Open(816B 参数、约 42B 激活、1M token 上下文)提供 Day-0 推理支持,权重提供 NVFP4 和 BF16 两种格式。

    推荐理由:原文给出了多平台推理与 RL 训练支持的完整细节和实测吞吐数据,读者可以据此评估大规模部署该模型的可行路径。

  3. Apple Machine Learning Research60

    Apple 演示用 MLX 与 RDMA 在 Mac Studio 集群本地运行 816B 大模型

    Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型,使用今天发布的新版 MLX(v0.30.1 起)与 macOS 26.2 的 RDMA over Thunderbolt 驱动。

    推荐理由:Apple 给出了在 Mac Studio 集群上跑 816B MoE 模型的并行方案与基准数据,可迁移到本地大模型部署实践。

  1. Databricks:Blog61

    Databricks 讲解如何在 AI Runtime 上将 Qwen 3.8 27B 微调时间缩短 6 倍

    Databricks 演示通过系统性性能优化,将 Qwen 3.8 27B 在 AI Runtime 上的微调时间从 7 小时 44 分钟降至 1 小时 17 分钟,提速 6 倍。

    推荐理由:原文给出从定位瓶颈到融合内核与数据打包的完整优化路径和量化结果,读者可迁移到自己的 LLM 微调任务。

  2. vLLM 官方博客60

    vLLM 推出无需置信头的在线拟合接受估计器,让 EAGLE、MTP 等草稿模型可用 Adaptive Verification

    vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型,通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率,作为 Adaptive Verification 的置信分。

    推荐理由:原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据,方法可直接在 vLLM 中配置复用。

  1. Modal 官方工程博客71

    Modal 年化收入突破 10 亿美元并完成 7.5 亿美元 D 轮融资

    Modal 宣布年化收入突破 10 亿美元,并完成 7.5 亿美元 D 轮融资,投后估值 157.5 亿美元,由 Accel 领投,Kleiner Perkins 及现有投资方跟投。

    推荐理由:作者作为当事方给出融资规模、估值和业务数据,并说明自研底层技术栈与新产品线,读者可据此了解 Modal 的增长轨迹。

  2. Anthropic:Engineering72

    Anthropic 自研版本控制系统 Scion,五个月完成 monorepo 从 git 迁移

    Anthropic 发布工程复盘,因 Claude 使日均合并代码量从 2026 年 5 月约 2,500 增至 9 月超 30,000,五个月内自研版本控制系统 Scion 并完全替代 git,同时推出代码评审工具 Antique。

    推荐理由:Anthropic 自建版本控制系统 Scion 的完整复盘,给出面向智能体规模负载的设计原则、架构细节和实测收益,可迁移到其他大规模仓库场景。

  1. LangChain:Blog61

    LangChain 发布 langchain-scaledown 集成,用 ScaleDown 约束解码模型管理长时智能体上下文

    LangChain 发布 langchain-scaledown 集成,并在 LangSmith LLM Gateway 中支持 ScaleDown 的约束解码模型(CDM),用于降低长时智能体上下文管理的成本和延迟。

    推荐理由:文章给出 ScaleDown 约束解码模型与 LangChain、Deep Agents 中间件的具体配置方法,读者可以按场景迁移用于压缩智能体上下文。

  1. Satya Nadella65

    微软宣布明年起将 Maia 芯片家族扩展到多吉瓦级部署,作为自家产品和服务的首选推理系统,并发布 Maia 300,每瓦 token 产出比主流 GPU 系统高 40%。Maia 200 已在美国、欧洲和澳大利亚部署,在 Teams 和 Copilot 场景中每瓦 token 产出提升最高 1.7x。

    推荐理由:作者本人官宣自研芯片路线,给出了 Maia 300 与 Maia 200 的能效数字和部署范围,可对比主流 GPU 方案的取舍。

  1. Comfy Blog66

    如何在单张 RTX 5090 上用 MiniMax H3 生成实时视频

    ComfyUI 博客作者用智能体搜集各类优化,把 MiniMax H3 实时视频生成压缩到单张 RTX 5090(32 GB 显存)上运行,生成 30 秒视频耗时 23.51 秒,达 1.28 倍实时吞吐。

    推荐理由:原文给出单张 RTX 5090 实现实时直播视频生成的完整优化清单和开源节点,读者可复现这套压成本思路。

  2. Goodfire Research72

    Goodfire 为 Kimi K3 和 GLM 5.3 训练并部署生产级网络安全监控器

    Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联,并部署到生产推理栈。

    推荐理由:原文给出监控级联的完整数据、成本和部署细节,读者可以据此评估实时监控开放模型智能体的可行做法。

  1. vLLM 官方博客63

    vLLM 详解 DeepSeek-V4.1-Flash 优化:Agent 场景吞吐提升 5 倍

    Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成优化,低并发速度提升 1.9 倍,150 TPS 约束下吞吐提升 5.3 倍。

    推荐理由:vLLM 团队拆解了 SWA bounded replay 和一系列内核优化,说明五倍吞吐提升具体来自哪里,方法可复用于其他 Agent 服务场景。

  1. GitHub Blog67

    GitHub 重建 Git 基础设施,应对智能体规模开发

    GitHub 宣布重建 Git 基础设施,以支持智能体规模开发带来的高并发读写负载。2026 年 8 月 GitHub 月度 Git 事件量达 473.3 billion(一年翻倍以上),9 月智能体和开发者产生 7.38 billion commits(超一年前五倍),pushes 同比增长 4.9 倍。

    推荐理由:GitHub 工程方亲述面向智能体规模开发重建 Git 基础设施的动因与设计原则,含内部基准写吞吐最高 35 倍等一手数据。

  1. Baseten 工程博客64

    Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%

    Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。

    推荐理由:作者亲测用智能体生成定制推理引擎,给出了相对 vLLM 的具体性能数据和成本,可帮助读者评估自动优化的实际可行性。

  2. Prime Intellect61

    Prime Intellect 发布推理服务平台 Prime Inference

    Prime Intellect 发布 Prime Inference,提供 serverless 端点与预留容量,在多数据中心 GPU 基础设施上服务前沿开源模型,内部每天处理近一万亿 token。

    推荐理由:作者以自家生产数据说明 disaggregation、NVFP4 KV 压缩等优化路径,工程细节对做推理服务的人有可参考之处。

  1. Modal 官方工程博客63

    Modal 发布 VM Sandboxes、Modal Clusters 等多项 Runtime 产品更新

    Modal 在其首届 Runtime 大会上发布多项产品更新。VM Sandboxes 为 Agent 提供完整 Linux 环境,已在 Linear、Legora。

    推荐理由:Modal 在 Runtime 大会上发布多项基础设施更新,可帮助读者了解面向 Agent 和大规模推理训练的部署能力变化。