Databricks 讲解如何在 AI Runtime 上将 Qwen 3.8 27B 微调时间缩短 6 倍
Databricks 演示通过系统性性能优化，将 Qwen 3.8 27B 在 AI Runtime 上的微调时间从 7 小时 44 分钟降至 1 小时 17 分钟，提速 6 倍。
推荐理由：原文给出从定位瓶颈到融合内核与数据打包的完整优化路径和量化结果，读者可迁移到自己的 LLM 微调任务。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
667 条精选近 30 天 65 条共收录 4,401 条
更新
精选归档 · 第 2 页
Databricks：Blog精选AI 评分6161 vLLM 官方博客精选AI 评分6060 vLLM 推出无需置信头的在线拟合接受估计器，让 EAGLE、MTP 等草稿模型可用 Adaptive Verification
vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型，通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率，作为 Adaptive Verification 的置信分。
推荐理由：原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据，方法可直接在 vLLM 中配置复用。
蚂蚁百灵：Developer Blog精选AI 评分6565 蚂蚁百灵开源 Ling-3.1-flash：总参数约 560B、每 Token 激活约 25B，支持 1M 上下文
蚂蚁百灵正式开源 Ling-3.1-flash，权重可在 Hugging Face 和 ModelScope 获取。模型总参数约 560B、每 Token 激活约 25B、最高支持 1M 上下文；经 MXFP4 与 block-FP8 量化后权重占用从约 534GB 降至 292GB，Hopper GPU 测试中服务部署由 8 卡降至 4 卡。
推荐理由：官方开源公告给出权重入口、Artificial Analysis 与 Design Arena 评测数据和 4 卡部署实测，便于评估自部署可行性。
Modal 官方工程博客精选AI 评分7171 Modal 年化收入突破 10 亿美元并完成 7.5 亿美元 D 轮融资
Modal 宣布年化收入突破 10 亿美元，并完成 7.5 亿美元 D 轮融资，投后估值 157.5 亿美元，由 Accel 领投，Kleiner Perkins 及现有投资方跟投。
推荐理由：作者作为当事方给出融资规模、估值和业务数据，并说明自研底层技术栈与新产品线，读者可据此了解 Modal 的增长轨迹。
Pydantic AI 官方文章精选AI 评分6666 Pydantic AI 的 Samuel Colvin：图库是个错误，代码本身就是图
Pydantic AI 作者 Samuel Colvin 发文认为图库是错误方向，代码本身就是图：类型安全来自类型提示，并行来自 async，持久执行来自沙箱外的 Temporal 和沙箱内的 Monty。
推荐理由：作者以 pydantic-graph 作者身份论证图库与类型安全、并行、快照三者不可兼得，并给出用代码加 Monty 替代的方案。
Anthropic：Engineering精选AI 评分7272 Anthropic 自研版本控制系统 Scion，五个月完成 monorepo 从 git 迁移
Anthropic 发布工程复盘，因 Claude 使日均合并代码量从 2026 年 5 月约 2,500 增至 9 月超 30,000，五个月内自研版本控制系统 Scion 并完全替代 git，同时推出代码评审工具 Antique。
推荐理由：Anthropic 自建版本控制系统 Scion 的完整复盘，给出面向智能体规模负载的设计原则、架构细节和实测收益，可迁移到其他大规模仓库场景。
LangChain：Blog精选AI 评分6161 LangChain 发布 langchain-scaledown 集成，用 ScaleDown 约束解码模型管理长时智能体上下文
LangChain 发布 langchain-scaledown 集成，并在 LangSmith LLM Gateway 中支持 ScaleDown 的约束解码模型（CDM），用于降低长时智能体上下文管理的成本和延迟。
推荐理由：文章给出 ScaleDown 约束解码模型与 LangChain、Deep Agents 中间件的具体配置方法，读者可以按场景迁移用于压缩智能体上下文。
Anthropic：Research精选AI 评分6969 Anthropic 自研版本控制系统 Scion，五个月内完成 monorepo 从 git 的全面迁移
Anthropic 发文详解其自研版本控制系统 Scion：因 Claude 使日均合并代码从 2026 年 5 月约 2,500 次增至 9 月超 30,000 次，git 难以承载，团队七人在五个月内构建 Scion 和代码评审工具 Antique 并完成迁移。
推荐理由：Anthropic 复盘自研版本控制 Scion 的设计原则与迁移经验，为面临类似 agent 规模代码压力的团队提供了可借鉴思路。
Satya Nadella@satyanadella精选AI 评分6565推荐理由：作者本人官宣自研芯片路线，给出了 Maia 300 与 Maia 200 的能效数字和部署范围，可对比主流 GPU 方案的取舍。
Comfy Blog精选AI 评分6666 如何在单张 RTX 5090 上用 MiniMax H3 生成实时视频
ComfyUI 博客作者用智能体搜集各类优化，把 MiniMax H3 实时视频生成压缩到单张 RTX 5090（32 GB 显存）上运行，生成 30 秒视频耗时 23.51 秒，达 1.28 倍实时吞吐。
推荐理由：原文给出单张 RTX 5090 实现实时直播视频生成的完整优化清单和开源节点，读者可复现这套压成本思路。
Goodfire Research精选AI 评分7272 Goodfire 为 Kimi K3 和 GLM 5.3 训练并部署生产级网络安全监控器
Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联，并部署到生产推理栈。
推荐理由：原文给出监控级联的完整数据、成本和部署细节，读者可以据此评估实时监控开放模型智能体的可行做法。
vLLM 官方博客精选AI 评分6363 vLLM 详解 DeepSeek-V4.1-Flash 优化：Agent 场景吞吐提升 5 倍
Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成优化，低并发速度提升 1.9 倍，150 TPS 约束下吞吐提升 5.3 倍。
推荐理由：vLLM 团队拆解了 SWA bounded replay 和一系列内核优化，说明五倍吞吐提升具体来自哪里，方法可复用于其他 Agent 服务场景。
GitHub Blog精选AI 评分6767 GitHub 重建 Git 基础设施，应对智能体规模开发
GitHub 宣布重建 Git 基础设施，以支持智能体规模开发带来的高并发读写负载。2026 年 8 月 GitHub 月度 Git 事件量达 473.3 billion（一年翻倍以上），9 月智能体和开发者产生 7.38 billion commits（超一年前五倍），pushes 同比增长 4.9 倍。
推荐理由：GitHub 工程方亲述面向智能体规模开发重建 Git 基础设施的动因与设计原则，含内部基准写吞吐最高 35 倍等一手数据。
Together AI 研究与产品博客精选AI 评分6161 Together AI 推出 Together Link，一键在现有编码智能体中接入开源模型并降费超 50%
Together AI 发布 Together Link，把团队已用的编码智能体工具连接到 Together AI 上的开源模型，宣称可节省超过 50% 支出。
推荐理由：原文给出支持的工具清单、Auto 路由机制和每会话费用对比方式，读者可评估它能否直接嵌入现有编码智能体工作流。
Baseten 工程博客精选AI 评分6464 Baseten 工程师实测：LLM 生成的推理引擎比 vLLM 快最多 90%
Baseten 工程师参考 MetaInfer 论文，让 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B（NVFP4，单张 B200）自动构建推理引擎 VibeQwen，单流解码比 vLLM 0.25.1 快 90%，首 token 从 28ms 降至 12ms，并发 32 时吞吐高 71%。
推荐理由：作者亲测用智能体生成定制推理引擎，给出了相对 vLLM 的具体性能数据和成本，可帮助读者评估自动优化的实际可行性。
Prime Intellect精选AI 评分6161 Prime Intellect 发布推理服务平台 Prime Inference
Prime Intellect 发布 Prime Inference，提供 serverless 端点与预留容量，在多数据中心 GPU 基础设施上服务前沿开源模型，内部每天处理近一万亿 token。
推荐理由：作者以自家生产数据说明 disaggregation、NVFP4 KV 压缩等优化路径，工程细节对做推理服务的人有可参考之处。
Modal 官方工程博客精选AI 评分6363 Modal 发布 VM Sandboxes、Modal Clusters 等多项 Runtime 产品更新
Modal 在其首届 Runtime 大会上发布多项产品更新。VM Sandboxes 为 Agent 提供完整 Linux 环境，已在 Linear、Legora。
推荐理由：Modal 在 Runtime 大会上发布多项基础设施更新，可帮助读者了解面向 Agent 和大规模推理训练的部署能力变化。
Modal 官方工程博客精选AI 评分6161 Modal 正式发布 VM Sandboxes：给 Agent 一台完整的 Linux 虚拟机
Modal 宣布 VM Sandboxes 正式 GA，只需设置 runtime="vm" 即可获得支持 Docker、FUSE 和内核功能的完整 Linux VM，沿用原有 Sandbox 的 API、modal.Image、亚秒级冷启动和内存爆发能力，早期客户已启动超过 2000 万个 VM。
推荐理由：Modal 官方说明 VM Sandbox 的能力边界、切换方式和 Linear 等早期客户的实际用法，对需要给 Agent 配完整机器的开发者有直接参考价值。
Modal 官方工程博客精选AI 评分6565 Modal Clusters 正式发布，单行 @modal.clustered 即可启动多节点 GPU 集群
Modal 宣布 Modal Clusters 正式可用，通过 @modal.clustered 装饰器一行代码即可启动多节点集群。
推荐理由：原文解释了 gang 调度、rdma=True 和 gVisor RDMA 支持等实现细节，可帮助读者判断多节点训练推理的部署成本。
OpenRouter：Announcements精选AI 评分6767 OpenRouter 教程：如何在 CI 中用 LLM eval 门禁拦截 Pull Request
OpenRouter 发布教程，讲解如何用固定的 eval 集在 CI 中门禁 pull request，当通过率低于阈值时脚本以非零退出码阻止合并，做法与单元测试门禁一致。
推荐理由：原文给出了从脚本到 GitHub Actions 的完整可复现流程，并强调了路径过滤须放 job 层、阈值应实测等易错点。