vLLM 团队详解 Kimi K3 解码优化:GB300 上 842 tokens/s 与快速验证方法
vLLM 团队介绍如何用 Agent 辅助开发为 Kimi K3 构建统一的 CuTe DSL 解码路径,覆盖 attention、MoE 和 8/16 GPU 通信。
vLLM 团队介绍如何用 Agent 辅助开发为 Kimi K3 构建统一的 CuTe DSL 解码路径,覆盖 attention、MoE 和 8/16 GPU 通信。
Databricks 宣布 Multi-Statement Transactions 正式可用,支持 UC 托管的 Delta Lake 和 Apache Iceberg 表,让多表多步骤工作流获得原子保证而无需独立数仓。
Replit 推出 Bring Your Own Cloud(BYOC),可将 Replit 平台与已发布项目托管部署进企业自有云租户,支持 Microsoft Azure、Google Cloud 和 Amazon Web Services。
Modal 工程博客介绍其为 VM Sandboxes 打造的 ImageFS-blk 块设备文件系统后端。
工程师出身的 PJ 在佛州 Ocala 经营虫害防治公司期间深度使用 OpenClaw,随后转型为顾问,帮屋顶、泳池、汽车等本地小企业部署 OpenClaw 并培训其自主运行。他的客户不愿把公司数据交给软件、被平台锁定,看重装在办公室电脑里的 OpenClaw 归自己所有。66 岁的行政人员 Donna 每天使用 OpenClaw,称已无法想象没有它的工作。
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型,这是一个 501B 参数、每 token 激活 23B 的 MoE 模型,在 NVIDIA Blackwell 上完成优化。
推荐理由:原文给出了 Beam 在 vLLM 上的具体优化数据和部署命令,读者可以直接评估落地配置与吞吐收益。
AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。
推荐理由:原文拆解了 50 多个 PR 背后的缓存、MoE、内核融合与投机解码优化思路,读者可迁移到自己的推理栈排查瓶颈。
SGLang 宣布为 NVIDIA Nemotron 3.5 Super VL 提供 Day-0 部署支持。
Atlassian 基于 OCSF 开放模式在 Databricks 上构建安全湖仓,处理每天 440 亿条事件。结构化数据配合分区与 Z-ORDER 将代表性查询从约 45 秒降至 2–3 秒,提升 95%;启用 Graviton 集群与 Photon 后查询成本和运行时间减少约三分之二。
Databricks AI 研究团队披露其作为 AI Runtime(AIR)首位客户的使用方式:AIR 提供 NVIDIA H100 或 B300 GPU,支持从数十亿到近万亿参数模型的 SFT、离线 RL 与在线 RL 训练。
Thinking Machines Lab 发布 Tinker 上线一周年的复盘,称企业用其定制模型可在特定任务上以更低成本超过前沿大模型:Bridgewater 的 text-to-SQL 模型以 15% 的成本在准确率上超过 Fable 5 和 GPT-5.6 Sol,Glean 的定制搜索智能体速度翻倍且 token 用量减少 25%。
GitHub 用原生功能构建的 GitHub App Evergreen,通过两个工作流自动化组织卫生:每季度审查外部协作者访问权限,未响应即默认撤销;检测并归档长期无人类活动的仓库,且从不删除仓库内容。它由 Go webhook 服务器驱动,状态以 JSON 文件提交到 controller repo,用 git 历史充当审计记录,决策通过仓库内的 checklist issue 完成。
SGLang 团队宣布对 Meta 开源多模态 MoE 模型 Muse Spark Open(816B 参数、约 42B 激活、1M token 上下文)提供 Day-0 推理支持,权重提供 NVFP4 和 BF16 两种格式。
推荐理由:原文给出了多平台推理与 RL 训练支持的完整细节和实测吞吐数据,读者可以据此评估大规模部署该模型的可行路径。
Meta 复盘 2026 世界杯期间的基础设施表现:7 月 19 日决赛(阿根廷对西班牙)WhatsApp 峰值超每秒 3000 万条消息,创平台历史纪录,是 2026 年跨年峰值的 1.23 倍。
OpenRouter 发布 Private Endpoints,团队可把微调模型、公共模型的专用部署或预留容量注册为私有端点,通过现有 API 和模型 slug 调用,仅组织内可见且不进入公开榜单和搜索。
Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型,使用今天发布的新版 MLX(v0.30.1 起)与 macOS 26.2 的 RDMA over Thunderbolt 驱动。
推荐理由:Apple 给出了在 Mac Studio 集群上跑 816B MoE 模型的并行方案与基准数据,可迁移到本地大模型部署实践。
NVIDIA 发布开源多模态模型 Nemotron 3.5 Super VL,vLLM 提供 Day 0 支持。模型基于 120B 总参数、12B 激活的 MoE 架构,结合推理、工具调用与文档、图像、视频理解,采用混合 Mamba-Transformer 架构、多 token 预测和 NVFP4 量化。
FactSet 借助 Databricks AI Runtime 的无服务器 GPU 基础设施,将其 Text-to-Formula(TTF)模型的搭建、训练与部署周期从数天缩短到数小时。该团队每两到三周微调一次基于 Llama 的模型,此前引入微调模型已使端到端延迟降低约 60%。训练流程与 MLflow、Lakehouse 治理环境打通,无需单独维护 GPU 栈。
Lovable 发布 Deploy on Azure,目前处于 private preview,可让应用及其数据运行在企业自己的 Azure 订阅中,编辑器和 agent 仍留在 Lovable。
Databricks 演示通过系统性性能优化,将 Qwen 3.8 27B 在 AI Runtime 上的微调时间从 7 小时 44 分钟降至 1 小时 17 分钟,提速 6 倍。
推荐理由:原文给出从定位瓶颈到融合内核与数据打包的完整优化路径和量化结果,读者可迁移到自己的 LLM 微调任务。
vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型,通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率,作为 Adaptive Verification 的置信分。
推荐理由:原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据,方法可直接在 vLLM 中配置复用。
GitHub 发布 9 月可用性报告,截至 10 月 7 日已有 120/160 个生产服务部署至 Central US,13/51 个主 MySQL 数据库完成迁移,Azure 承接核心应用 65.4% 读流量。
Mastra 推出 Trace Queries,支持按时间、agent/workflow ID、状态、评分和反馈等字段筛选 trace,并可通过 CLI、Mastra Client SDK 和 HTTP 可观测性端点构造查询。
vLLM 新增 push-based NIXL connector,将 KV 传输的协调与建立从解码关键路径移到预填充侧后台线程,在 1P1D 的 Amazon EC2 P5en + EFA 部署上,Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。该功能先在 AWS Trainium 集群验证,后作为加速器无关特性贡献给 vLLM,GPU 集群同样受益。
NVIDIA 推出 CUDA-X 新库 cuPotential,供开发者构建模拟原子与分子相互作用的 AI 智能体,早期测试中让已 GPU 优化的流程再提速 2-3 倍。
Mastra Platform 上线 trace imports 功能,可将第三方可观测性平台的历史追踪导入 Mastra,首批支持 Langfuse,导入的追踪与 Mastra 生成的追踪并列展示,便于调试、筛选和对比。
Factory 发布 OpenCompute,一款可在用户自选运行时上自托管编排智能体沙箱的产品,现已进入 private preview。它提供按需供给与生命周期管理,集成 Environments、Automations 和 Remote Control,支持 AWS Lambda MicroVMs、Kubernetes 等基础设施。
Modal 宣布年化收入突破 10 亿美元,并完成 7.5 亿美元 D 轮融资,投后估值 157.5 亿美元,由 Accel 领投,Kleiner Perkins 及现有投资方跟投。
推荐理由:作者作为当事方给出融资规模、估值和业务数据,并说明自研底层技术栈与新产品线,读者可据此了解 Modal 的增长轨迹。
Runway 的前沿视频生成与编辑模型 Gen-4.5 和 Aleph 2.0 现已可通过 Baseten 进行专属部署。用户可从 Runway 直接授权模型权重,在 Baseten 的单租户隔离环境中运行,并获得专属 GPU 资源与自动扩缩容,Baseten 为该部署提供 99.99% 可用性 SLA。
Runway 的前沿视频生成与编辑模型 Gen-4.5 和 Aleph 2.0 现可通过 Baseten 进行专属部署,用户可从 Runway 直接授权模型权重,在单租户隔离环境中运行。Aleph 2.0 支持最长 30 秒、1080p 的多场景视频编辑,并可在自有数据上微调模型。Baseten 为该部署提供 99.99% 可用性 SLA,并覆盖 SOC 2 Type II 与 HIPAA 合规。
Lovable 宣布推出 Deploy on AWS,目前处于私测阶段,企业团队可以在自己的 AWS 账户内运行 Lovable 应用。
Databricks 以内部应用 Slide Hub 为基准,实测 Lakebase Search 在 1M 到 4M 行语料下的表现,给出按查询先定 CU 再扩应用的选型方法。
OpenAI 发布博客,讲解关键 AI 工作负载如何在直连 OpenAI API(1P)与通过云供应商访问 OpenAI 模型(3P)之间做生产路由和故障转移。
Databricks 宣布 Private Network Gateway(PNG)在 Azure 进入公开预览、在 AWS 进入私有预览,让 Serverless 工作负载通过一条连接接入客户自有网络。
Databricks 发布《2026 年实时分析实用指南》,提出实时分析应作为湖仓一体的能力,而非另建 Apache Druid、Apache Pinot、ClickHouse 等专用服务引擎。文章用新鲜度、延迟、并发三个维度界定实时负载,并给出判断工作负载是否需要实时分析的评估框架,以及金融、零售、制造等行业的应用场景。
NVIDIA 发布 cuDF skills for Apache Spark,用 AI Agent 把 Spark UDF 自动改写为 GPU 加速版本,几分钟内完成测试、基准到集成。
Ollama 宣布 Ollama Cloud 可在 Fly.io Sprites 沙箱内使用,支持 Claude Code、Codex、Cursor 和 Gemini CLI 开箱即用。
Cursor 宣布 Origin 应用市场上线,已集成 20 多款应用,覆盖部署、CI、代码审查、安全、监控和项目管理,合作伙伴包括 Cloudflare、Linear、Sentry 和 Socket Security。市场即日起向公众开放提交,团队可基于 Origin API 构建应用,经审核后上架;官方还提供发布指南、API 参考和 Origin Apps 插件辅助开发与迁移。
Modal 工程团队展示在 Qwen3.6-35B-A3B 的 agentic coding RL 训练中,用跨六种加速器(B200、B300、H100、H200。
Mastra 平台推出 Metrics API,可通过 Mastra Client SDK(需 1.9.0+)、CLI(需 1.9.2+)或可观测性端点查询 token 用量、模型成本、延迟和错误率,支持 US 和 EU 两个区域端点。