如何在单张 RTX 5090 上用 MiniMax H3 生成实时视频
ComfyUI 博客作者用智能体搜集各类优化，把 MiniMax H3 实时视频生成压缩到单张 RTX 5090（32 GB 显存）上运行，生成 30 秒视频耗时 23.51 秒，达 1.28 倍实时吞吐。
推荐理由：原文给出单张 RTX 5090 实现实时直播视频生成的完整优化清单和开源节点，读者可复现这套压成本思路。
技术方向
部署工程 最新动态
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
633 条精选近 30 天 59 条共收录 4,168 条
更新
大事记
重要进展8月
7月
部署工程的精选
Comfy Blog精选AI 评分6666 Goodfire Research精选AI 评分7272 Goodfire 为 Kimi K3 和 GLM 5.3 训练并部署生产级网络安全监控器
Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联，并部署到生产推理栈。
推荐理由：原文给出监控级联的完整数据、成本和部署细节，读者可以据此评估实时监控开放模型智能体的可行做法。
vLLM 官方博客精选AI 评分6363 vLLM 详解 DeepSeek-V4.1-Flash 优化：Agent 场景吞吐提升 5 倍
Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成优化，低并发速度提升 1.9 倍，150 TPS 约束下吞吐提升 5.3 倍。
推荐理由：vLLM 团队拆解了 SWA bounded replay 和一系列内核优化，说明五倍吞吐提升具体来自哪里，方法可复用于其他 Agent 服务场景。
GitHub Blog精选AI 评分6767 GitHub 重建 Git 基础设施，应对智能体规模开发
GitHub 宣布重建 Git 基础设施，以支持智能体规模开发带来的高并发读写负载。2026 年 8 月 GitHub 月度 Git 事件量达 473.3 billion（一年翻倍以上），9 月智能体和开发者产生 7.38 billion commits（超一年前五倍），pushes 同比增长 4.9 倍。
推荐理由：GitHub 工程方亲述面向智能体规模开发重建 Git 基础设施的动因与设计原则，含内部基准写吞吐最高 35 倍等一手数据。
Together AI 研究与产品博客精选AI 评分6161 Together AI 推出 Together Link，一键在现有编码智能体中接入开源模型并降费超 50%
Together AI 发布 Together Link，把团队已用的编码智能体工具连接到 Together AI 上的开源模型，宣称可节省超过 50% 支出。
推荐理由：原文给出支持的工具清单、Auto 路由机制和每会话费用对比方式，读者可评估它能否直接嵌入现有编码智能体工作流。
Baseten 工程博客精选AI 评分6464 Baseten 工程师实测：LLM 生成的推理引擎比 vLLM 快最多 90%
Baseten 工程师参考 MetaInfer 论文，让 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B（NVFP4，单张 B200）自动构建推理引擎 VibeQwen，单流解码比 vLLM 0.25.1 快 90%，首 token 从 28ms 降至 12ms，并发 32 时吞吐高 71%。
推荐理由：作者亲测用智能体生成定制推理引擎，给出了相对 vLLM 的具体性能数据和成本，可帮助读者评估自动优化的实际可行性。
Prime Intellect精选AI 评分6161 Prime Intellect 发布推理服务平台 Prime Inference
Prime Intellect 发布 Prime Inference，提供 serverless 端点与预留容量，在多数据中心 GPU 基础设施上服务前沿开源模型，内部每天处理近一万亿 token。
推荐理由：作者以自家生产数据说明 disaggregation、NVFP4 KV 压缩等优化路径，工程细节对做推理服务的人有可参考之处。
Modal 官方工程博客精选AI 评分6363 Modal 发布 VM Sandboxes、Modal Clusters 等多项 Runtime 产品更新
Modal 在其首届 Runtime 大会上发布多项产品更新。VM Sandboxes 为 Agent 提供完整 Linux 环境，已在 Linear、Legora。
推荐理由：Modal 在 Runtime 大会上发布多项基础设施更新，可帮助读者了解面向 Agent 和大规模推理训练的部署能力变化。
Modal 官方工程博客精选AI 评分6161 Modal 正式发布 VM Sandboxes：给 Agent 一台完整的 Linux 虚拟机
Modal 宣布 VM Sandboxes 正式 GA，只需设置 runtime="vm" 即可获得支持 Docker、FUSE 和内核功能的完整 Linux VM，沿用原有 Sandbox 的 API、modal.Image、亚秒级冷启动和内存爆发能力，早期客户已启动超过 2000 万个 VM。
推荐理由：Modal 官方说明 VM Sandbox 的能力边界、切换方式和 Linear 等早期客户的实际用法，对需要给 Agent 配完整机器的开发者有直接参考价值。
Modal 官方工程博客精选AI 评分6767 Modal Clusters 正式发布，通过 @modal.clustered 提供多节点 GPU 集群
Modal 宣布 Modal Clusters 正式可用，通过一个装饰器 @modal.clustered 即可获得多节点集群，节点间经 InfiniBand verbs 通信可达 6.4 Tbps，自动配置 PyTorch 和 NCCL。
推荐理由：官方宣布多节点集群正式可用，文中解释了 gang scheduler 与 RDMA 的实现细节，并给出 Decagon、1x、Runway 的实际用法。
OpenRouter：Announcements精选AI 评分6767 OpenRouter 教程：如何在 CI 中用 LLM eval 门禁拦截 Pull Request
OpenRouter 发布教程，讲解如何用固定的 eval 集在 CI 中门禁 pull request，当通过率低于阈值时脚本以非零退出码阻止合并，做法与单元测试门禁一致。
推荐理由：原文给出了从脚本到 GitHub Actions 的完整可复现流程，并强调了路径过滤须放 job 层、阈值应实测等易错点。
OpenRouter：Announcements精选AI 评分6767 OpenRouter 发布 Agent 模型成本与质量权衡选型框架
OpenRouter 发布一个三步框架，用于为 Agent 任务选出以最低成本达到质量门槛的模型，而不是按排行榜排名选最高分模型。方法是先按任务设定质量门槛，再用 20 到 50 条自己的示例运行廉价、中档和前沿模型并用统一评分标准计算每质量点成本，最后选出以超过运行间分数波动的余量过线的最便宜模型。
推荐理由：原文给出可复用的三步选型方法，读者可以据此按任务质量门槛测量并选出成本最低的够用模型。
OpenRouter：Announcements精选AI 评分6868 OpenRouter 指南：用置信度阈值实现模型分级升级路由
OpenRouter 发布教程，讲解如何让廉价模型通过结构化输出返回 0 到 1 的置信度字段，低置信度的请求再升级到更强模型。文章强调置信分数只是自报、不是校准概率，应基于自己流量的分数段错误率排序设定阈值，并在上线后监控分数分布、升级率和未升级答案的错误率持续调整。
推荐理由：原文给出按置信度分数分级路由的完整做法，读者可以照着在自己流量上校准阈值并权衡准确率、成本和延迟。
Google DeepMind：Blog精选AI 评分7878 Google DeepMind 发布 Gemini 4 Argon，面向可信网络防御者先行开放
Google DeepMind 发布新前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向可信网络防御者开放，后续将逐步面向开发者、企业和消费者推出。
推荐理由：官方发布给出了定价、输出 token 上限和多项基准成绩，读者可以据此比较它在编码与企业工作流中的实际位置。
vLLM 官方博客精选AI 评分6262 vLLM 分离式推理（Disaggregated Serving）实用指南
vLLM 官方博客发布分离式推理实用指南，讲解 vLLM v0.30.0 及以上版本中 prefill/decode 分离、无 GPU render 前端及两者组合的原理与运行方法。
推荐理由：作者来自参与开发的 IBM Research，给出 P/D 与 render 拆分的收益数据、适用场景表和可复用运行方法。
公众号：DeepSeek精选AI 评分7272 DeepSeek 开源面向华为昇腾平台的基础设施组件
DeepSeek 开源面向华为昇腾算力平台的基础设施组件，包括 TileLang 编译工具、DeepGEMM、DeepEP、TileKernels、FlashMLA、DeepSelect，与此前英伟达平台开源组件一一对应。
推荐理由：原文给出各组件功能与开源链接，读者可以据此评估昇腾平台软件生态的可用范围。
IT之家·人工智能精选AI 评分8282 Anthropic 与 SpaceX 签署最高 845 亿美元算力协议，可提前 90 天通知解除
Anthropic 与 SpaceX 签署算力协议，据路透社查阅的 IPO 申报文件，合同金额上限最高达 845 亿美元，用于租用 SpaceX 数据中心内的英伟达 GPU。
推荐理由：原文基于 SEC 申报文件给出合同金额、月费与解约条款等具体细节，读者可了解 Anthropic 算力采购的实际安排。
OpenRouter：Announcements精选AI 评分6565 OpenRouter 教程：如何从生产流量构建 golden 评测集并跨模型复测
OpenRouter 发布教程，讲解如何从生产流量构建 golden 评测集，作为每次部署前的回归测试。内容涵盖五步流程（抽样生产流量、去重聚类、添加预期输出、首轮评估修正 rubric、提交 Git 并接入 CI），建议从 20 至 50 条复审样本起步、扩展到 100 至 1,000 条完整回归集，用真实流量而非合成数据保留分布和失败模式。
推荐理由：原文给出从生产流量构建 golden 评测集的五步流程和跨模型复测方法，可直接照做。
OpenRouter：Announcements精选AI 评分6969 OpenRouter 教程：提示词或模型变更后如何对 AI Agent 做回归测试
OpenRouter 发布 AI Agent 回归测试教程：每次提示词、模型、工具定义或检索设置变更后，重跑锁定的用例集并对照书面行为契约检查。
推荐理由：原文给出可复用的 Agent 回归测试方法，包括锁定用例集、行为契约、具体模型 slug 固定和模型切换对比的完整做法。
OpenAI：官网动态精选AI 评分8686 OpenAI 发布 GPT-6.1 Sol，以约五分之一价格接近 GPT-6 Astra 智能
OpenAI 发布 GPT-6.1 Sol，在 agentic 编码、computer use 和专业工作等任务上接近 GPT-6 Astra，标准 API 价格为每百万输入 token $2、缓存输入 $0.10、输出 $10，约为 Astra 五分之一。
推荐理由：官方公布了与 GPT-6 Astra 的多项基准对比和完整 API 定价，开发者可以据此评估用五分之一成本替代旗舰模型的可行性。