Wiz 披露 LiteLLM PyPI 包供应链攻击，恶意版本 v1.107.0 窃取凭据
Wiz 披露 10 月 21 日 11:39 UTC 有恶意版本 LiteLLM 1.107.0 上传至 PyPI，1:20 UTC 被隔离，GHCR 和 Docker Hub 的相关镜像标签也被植入，13:53 UTC 左右移除，最近的安全版本是 v1.106.2。
推荐理由：原文给出完整的攻击时间线、窃取目标和 IOC 清单，读者可以据此排查自身环境是否受影响。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
667 条精选近 30 天 53 条共收录 4,413 条
更新
大事记
重要进展10月
8月
7月
部署工程的精选
Wiz：Research精选AI 评分8383 vLLM 官方博客精选AI 评分6767 蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，仓库为 github.com/vllm-project/humming。
推荐理由：原文给出统一量化表示加 JIT 编译的内核设计和多项基准数字，读者可以据此评估不同 GPU 上的量化推理方案选择。
Modal 官方工程博客精选AI 评分6161 Modal 推出 Sticky Sessions：同一会话请求始终路由到同一容器
Modal 发布 Sticky Sessions，基于 Modal Servers 让同一会话的所有请求固定路由到同一容器，用 @modal.sessioned() 装饰器配合 SDK 或 HTTP API 即可创建。
推荐理由：原文讲清了 Sticky Sessions 的路由、授权与弹性伸缩设计，以及语音智能体、共享房间和游戏等适用场景。
PyTorch：Blog精选AI 评分7474 Google 与 Meta 发布 TorchTPU：PyTorch 原生 TPU 后端
Google 与 Meta 联合开源 TorchTPU，为 Google TPU 提供原生 PyTorch 后端，模型只需把 .to("cuda") 改成 .to("tpu") 即可开箱运行，无需 JAX 依赖。
推荐理由：原文详述架构、精度模式与多个训练推理案例，读者可据此评估把 PyTorch 工作流迁移到 TPU 的成本。
Google Developers Blog精选AI 评分7070 Google 发布 TorchTitan TPU 分叉并给出模型优化 Playbook
Google 推出 TorchTitan TPU 分叉（github.com/google-pytorch/torchtitan），配合 TorchTPU 原生后端在 Cloud TPU 上训练 PyTorch 模型，提供 SimpleFSDP、Graph Trainer、Pallas 内核和优化 Playbook。
推荐理由：原文给出从基准到编译、内核、内存的完整 TPU 优化顺序，以及 FLUX.1、Qwen3 235B 等实测数字，可迁移到自己的训练工作流。
Google Developers Blog精选AI 评分7171 Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎
Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎，分别与 Inferact、RadixArk 合作开发，让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。
推荐理由：原文给出两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口，读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性。
IBM Research：AI精选AI 评分6060 llm-d 1.0 发布：Kubernetes 原生分布式推理服务走向生产就绪
IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0，这是一个 Kubernetes 原生的分布式推理服务框架，支持任意模型、任意加速器和任意云。
推荐理由：原文给出 llm-d 1.0 的具体能力变化和实测成本数据，读者可据此评估自建推理基础设施是否划算。
公众号：DeepSeek精选AI 评分7575 DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，并同步开源生产级 Token 编解码组件 deepseek-recipe。
推荐理由：DeepSeek 将内部推理框架全面开源，给出仓库地址和兼容平台，开发者可据此优化大规模推理的成本。
公众号：面壁智能精选AI 评分6868 面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行
面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度（LES）技术，称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行，iPhone 18 Pro Max 实测解码超 20 token/s。
推荐理由：原文拆解了 LES 在调度、存储、计算三层的具体设计，并给出消融数据，方法可迁移到其他 MoE 模型的端侧部署。
n8n Blog精选AI 评分6666 n8n 教程：在 NVIDIA DGX Spark 上离线运行全套 AI 工作流
n8n 博客发布教程，讲解如何在一台 NVIDIA DGX Spark（128GB 统一内存）上部署七个本地模型，通过 LiteLLM 单一 OpenAI 兼容端点驱动 n8n 工作流，全程不调用云 API。
推荐理由：作者在自有 DGX Spark 上实测整套本地模型栈，给出内存分配、License 筛选和并发性能数据，可迁移到小型团队的私有化部署。
Meta Engineering Blog精选AI 评分6666 Meta 详解 Prometheus 吉瓦级超集群：一期已完成并用于训练 Muse 模型
Meta 介绍其位于俄亥俄州 New Albany 的吉瓦级超集群 Prometheus，一期已建成并用于训练 Muse 系列基础模型，目标扩展到约 100 万张 GPU。
推荐理由：Meta 官方拆解其俄亥俄超集群的网络、散热与可靠性工程，读者可了解吉瓦级训练集群的实际运行细节。
PyTorch：Blog精选AI 评分6767 AWS 发布 TorchNeuron：Trainium 的原生 PyTorch 后端开源
AWS 宣布推出 TorchNeuron，一个面向 Trainium 的开源原生 PyTorch 后端，10 月 20 日以 Apache 2.0 协议在 PyTorch Conference North America 开启公测。
推荐理由：原文给出 TorchNeuron 的架构、执行模式和兼容性测试数据，开发者可据此评估把现有 PyTorch 工作流迁到 Trainium 的成本。
数字生命卡兹克@Khazix0918精选AI 评分6868推荐理由：作者亲测 RTX Spark 上的本地模型部署路径，并把整套流程封装成 WorkBuddy 专家，读者可以照着复现本地 Token 自由的用法。
LMSYS Blog精选AI 评分6060 SGLang 发布 Low-Latency Mode，通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟
SGLang 团队推出 Low-Latency Mode，通过插件框架引入专用内核，在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。
推荐理由：原文给出 SGLang 低延迟模式的具体内核优化路径和 NVIDIA、AMD 两套实测数字，可帮助读者评估低并发推理场景的收益。
公众号：数字生命卡兹克精选AI 评分6767 卡兹克实测37999元RTX Spark轻薄本：一周实现本地Token自由
数字生命卡兹克分享华硕ProArt创16（RTX Spark N1X芯片、128G统一内存、37999元）的一周深度使用体验，该机全球开售时128G版本在京东几分钟内被抢空。
推荐理由：作者用一周实测讲清了如何在128G统一内存的RTX Spark笔记本上部署本地模型，并给出可复用的WorkBuddy专家整合流程。
vLLM 官方博客精选AI 评分6565 vLLM 实现 Reflection Beam 501B MoE 模型 Day 0 支持
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型，这是一个 501B 参数、每 token 激活 23B 的 MoE 模型，在 NVIDIA Blackwell 上完成优化。
推荐理由：原文给出了 Beam 在 vLLM 上的具体优化数据和部署命令，读者可以直接评估落地配置与吞吐收益。
vLLM 官方博客精选AI 评分6060 vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化，单 GPU 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。
推荐理由：原文拆解了 50 多个 PR 背后的缓存、MoE、内核融合与投机解码优化思路，读者可迁移到自己的推理栈排查瓶颈。
LMSYS Blog精选AI 评分6464 SGLang 为 816B 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 支持
SGLang 团队宣布对 Meta 开源多模态 MoE 模型 Muse Spark Open（816B 参数、约 42B 激活、1M token 上下文）提供 Day-0 推理支持，权重提供 NVFP4 和 BF16 两种格式。
推荐理由：原文给出了多平台推理与 RL 训练支持的完整细节和实测吞吐数据，读者可以据此评估大规模部署该模型的可行路径。
Apple Machine Learning Research精选AI 评分6060 Apple 演示用 MLX 与 RDMA 在 Mac Studio 集群本地运行 816B 大模型
Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型，使用今天发布的新版 MLX（v0.30.1 起）与 macOS 26.2 的 RDMA over Thunderbolt 驱动。
推荐理由：Apple 给出了在 Mac Studio 集群上跑 816B MoE 模型的并行方案与基准数据，可迁移到本地大模型部署实践。
公众号：蚂蚁百灵精选AI 评分6969 蚂蚁百灵开源 Ling-3.1-flash：560B 总参模型量化后可 4 卡部署
蚂蚁百灵正式开源 Ling-3.1-flash，总参数约 560B、每 Token 激活约 25B、最高支持 1M 上下文，权重可在 Hugging Face 和 ModelScope 获取。
推荐理由：官方开源 560B 级模型并给出量化后 4 卡部署、价格与公开评测数据，可供自部署团队评估能力与算力成本。