跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

667 条精选近 30 天 65 条共收录 4,401 条

更新

精选归档 · 第 6 页

9月9日周三第 101–120 条
9月8日周二
  1. vLLM 官方博客63

    vLLM x AgentX:面向真实世界智能体推理服务的全栈优化

    vLLM 团队发布针对智能体负载优化的博客,基于 SemiAnalysis 的公开 AgentX 基准展示成果:DeepSeek V4 Pro 在 GB300 上达到 83K total tokens/GPU-秒。

    推荐理由:vLLM 团队结合 AgentX 实测数据讲解智能体负载的全栈优化方法与失败教训,读者可以借此理解并行策略如何跟随模型架构调整。

  2. The Decoder:AI News77

    Anthropic 据报道签约高达 5170 亿美元算力协议,锁定至少 14.8 GW 算力

    据 The Information 报道,Anthropic 在十一个月内签署了价值高达 5170 亿美元的算力合同,自 2025 年 10 月以来锁定至少 14.8 GW 算力,并计划自建数据中心。

    推荐理由:两家公司在算力扩张上的表态与实际动作形成对照,读者可以借此审视巨额算力承诺与收入规模之间的差距。

  3. Cohere Labs:官方研究博客68

    Cohere 详解 North Mini Code 的 megakernel 推理引擎,单 H100 上比 vLLM 快 1.25–1.41 倍

    Cohere 发布为 North Mini Code 构建的围绕 decode megakernel 的推理引擎,BF16 下单张 H100 端到端解码吞吐比 vLLM 快 1.25–1.41 倍,batch size 1 时达 292 tok/s(SoL 的 62%),代码已在 GitHub 开放。

    推荐理由:原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。

9月5日周六
  1. xAI:News62

    xAI 用 Grok Bot 搭建采购智能体 Haggle Bot,找出超 10 万美元直接节省

    xAI 给 Grok Bot 开放供应商支出、合同和使用数据,搭建了名为 Haggle Bot 的采购智能体,已找出超过 10 万美元直接节省。SaaS 审计中发现一个产品有 43 个付费席位 90 天无活跃,节省 $14,220,另一个产品每年有 $85,662 未使用 SKU;办公用品比价一次将 $14,629 的订单压到 $6,143,降幅 58%。

    推荐理由:原文公开了完整系统提示词与具体省钱数字,读者可以直接参考其意图表达和权限边界的搭建方式。

  2. Tomasz Tunguz 博客61

    Tom Tunguz 分析 4 万亿美元 AI 数据中心债务浪潮

    Tom Tunguz 分析称,未来五年美国数据中心容量将从 25 吉瓦增至 70 吉瓦,全球建设成本约 5 万亿美元,其中约 4 万亿美元需靠债务融资,相当于美国公司债市场扩容 34%,并超过全球私募信贷市场。

    推荐理由:作者把 4 万亿美元 AI 数据中心债务放到主要信贷市场规模中对比,并测算出 2030 年前需要的 AI 收入门槛,提供了一个宏观信用视角。

9月4日周五
  1. Google AI:DEV 作者专属71

    Google Cloud 教你用 Cloud Run instances 以每月 $5.70 搭建常驻 Agent

    Shir Meir Lador 在 Google AI 开发者博客介绍如何用 Cloud Run instances 以每月 $5.70(1 vCPU、1Gi 内存、共享 CPU)在云端 24/7 运行常驻 Agent。

    推荐理由:原文给出在 Cloud Run instances 上以每月 $5.70 常驻运行 Agent 的完整部署步骤和适用边界,方法可直接迁移到其他后台 Agent 场景。

9月3日周四
  1. GitHub Blog62

    GitHub Copilot 如何在不牺牲任务质量的前提下降低 AI 编码成本

    GitHub 工程师 Erik Kristensen 分享了 Copilot 降本的四项改动:选择性压缩工具输出、移除 view 工具行号前缀(线下推理成本降约 5%,线上用户日均推理成本降约 3%)、压缩 task-tool 提示词(每轮省约 1300 token,每活跃小时归一化成本降 2.9%)、后台任务完成后直接交付结果(AI Credits 用量降约 2.3%)。

    推荐理由:GitHub 用四项改动说明压缩 token 为何要看整个任务而非单次调用,并给出可复用的评估方法与踩坑教训。

  2. Cursor Blog68

    Cursor 推出 Self-Hosted Machines,云智能体可在企业自有机器上执行

    Cursor 发布 Self-Hosted Machines,让云智能体的工具执行迁移到企业自有网络内的机器,智能体循环、推理和规划仍留在 Cursor 云端,通过 worker 的出站 HTTPS 连接对接,Cursor 不会主动连入企业网络。

    推荐理由:官方介绍了让智能体工具执行迁入企业自有基础设施的方案与适用场景, teams 可据此判断何时值得自托管以及如何按需扩容。

  3. Claude:Blog79

    Anthropic 发布 Claude 电商智能体构建指南及参考实现

    Anthropic 发布构建电商智能体的指南,总结架构、延迟与成本优化、生产运维三部分实践,涉及购物和商家两类智能体,企业客户部署后出现购物车变大和卖家运营效率提升。核心建议包括用单个智能体加技能而非子智能体、将 UI 组件做成工具、用提示词缓存实现 90-99% 命中率、在 harness 中强制安全规则,并开源参考实现 anthropics/commerce-agents。

    推荐理由:Anthropic 根据多个企业部署经验总结电商智能体架构、延迟成本优化和生产实践,并附参考实现,可迁移到类似 Agent 项目。

  4. Google AI:DEV 作者专属66

    Google AI 团队分享如何为 LLM-as-a-Judge 评测编写可靠的评分标准

    Google AI 团队发布教程,讲解如何为 LLM-as-a-Judge 评测编写可靠的布尔式评分标准,指出模糊提示会导致评估不一致和浪费 token。文中给出四条经验:问题保持原子化且互不重叠、只让评判模型评估客观事实(可用 RFC 2119 术语如 MUST 表述)、只评 prompt 中明确要求的内容、用专家标注的 golden set 校准评判模型直至与人类评分一致。

    推荐理由:作者来自 Google 团队,把写作 LLM-as-a-judge 评分标准的经验整理成四条可迁移规则,附带校准流程,适合自己搭建评测时参考。

9月2日周三
  1. Unsloth AI66

    Unsloth 通过 MTP(Multi-Token Prediction)让 Qwen3.8-Flash-Next 本地推理提速约 1.3 至 1.7 倍且精度不变,GGUF 在单张 RTX PRO 6000 上可达 170 tokens/s(基线 100 tokens/s)。

    引用Unsloth AI@UnslothAI

    Qwen3.8-Flash 现在可以在本地运行了!🔥 这个 125B 的 MoE 模型表现超过了 Claude-Opus-4.6(Max)。 通过 Unsloth GGUF 在 75GB 内存上运行。 Qwen3.8-Flash-Next 让 CPU 内存 / 统一内存配置也能达到接近 VRAM 的速度。 指南:https://unsloth.ai/docs/models/qwen3.8-next GGUF:https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF

    推荐理由:原文给出了 MTP 加速的具体倍数、显存门槛和各量化档位内存需求,读者可以据此判断自己的设备能否跑通。

  2. Baseten 工程博客62

    Baseten 解析后训练最佳开源模型并按成本分档推荐

    Baseten 发文解析开源模型后训练的成本驱动因素,指出活跃参数量是 RL 后训练成本的最大来源,总参数和 KV cache 主要限制推理速度,并按成本档位推荐 DeepSeek-V4-Flash、GLM-5.2、Kimi K2.6、Kimi K2.7 Code、Nemotron-3-Super-120B 和 Qwen3 系列。选型建议关注库支持、基准表现和后训练循环成本三方面。

    推荐理由:原文把后训练成本拆解为活跃参数、总参数和 KV cache 三个因素,并按成本档位比较了多款开源模型,方法可直接迁移到选型。

  3. Meituan LongCat68

    LongCat-2.0 现已在 @cline 中免费试用!🐱 [引用 @cline]:LongCat-2.0 目前在 Cline 中免费使用。 这是一款来自 @Meituan_LongCat 的 1.6T 开源权重 MoE 模型,拥有 1M 上下文,得分与 Claude Opus 4.7 和 Gemini 3.1 Pro 相近。 立即尝试:npm i -g cline /model 在免费模型下选择 LongCat-2.0

    引用Cline@cline

    LongCat-2.0 现在在 Cline 中免费开放。 这是一个 1.6T 开放权重 MoE 模型,拥有 1M 上下文,来自 @Meituan_LongCat,得分与 Claude Opus 4.7 和 Gemini 3.1 Pro 相近。 立即试用: npm i -g cline /model 在免费模型下选择 LongCat-2.0

    推荐理由:官方宣布 LongCat-2.0 可在 Cline 免费试用,并给出安装命令和模型选择路径,读者可直接接入现有编码工作流。

  4. 公众号:数字生命卡兹克65

    UU远程新版本上线:完整 TUI 渲染与多终端会话管理,强化远程 Vibe Coding 体验

    UU远程于9月2日上线新版本,重点优化终端功能,补齐 TUI 渲染交互与终端会话管理能力。主要更新包括:Mac 免密码登录、移动端输入优化并新增调用系统输入法的独立输入框、可同时创建和管理多个终端会话并支持手机与电脑间跨端同步接管(通过 uuyc-cli lterm 命令)。

    推荐理由:作者实测新版本并给出使用路径,读者可据此评估手机端远程跑 Coding Agent 的可行性。

9月1日周二
  1. Hugging Face 社区博客62

    Hugging Face 发布 @huggingface/kernels,提供 207 个 WebGPU 内核用于浏览器本地 AI 推理

    Hugging Face WebAI 团队发布 @huggingface/kernels 库及 207 个以独立仓库形式托管在 Hub 上的 WebGPU 内核(Apache-2.0),每个内核带 manifest、正确性测试、基准用例和 WGSL 着色器模板。

    推荐理由:原文给出与 ORT WebGPU 的对比数据和开源加载方式,读者可据此评估浏览器本地推理的可行路径。

  2. IT之家·人工智能76

    路透社调查:美国 AI 数据中心现大量幽灵用电需求,得州等多州出手整治

    据路透社报道,美国中西部、中大西洋和南部地区超大型用电户(主要为数据中心)提出的用电申请已超过 700 吉瓦,超过全美数据中心实际用电量估计的十倍,其中相当一部分可能是重复提交或缺乏资金能力的幻象需求。

    推荐理由:路透社调查给出超 700 吉瓦用电申请与各州整治措施的具体数字,读者可以据此了解 AI 数据中心电力泡沫的真实规模。