SpecForge v0.3.0 发布：统一解耦与共置投机解码栈，新增开放 SpecBundle 草稿模型
SpecForge v0.3.0 将目标模型推理与草稿模型训练分离，支持 EAGLE3、EAGLE3.1、P-EAGLE、DFlash、Domino、DSpark 等多种投机解码算法，并统一在线、离线与解耦工作流。
推荐理由：将目标模型推理与草稿模型训练分离，让两种工作负载可独立扩缩，改变了投机解码训练中资源配比必须硬编码的旧模式，资源规划可按模型和序列长度灵活调整。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
667 条精选近 30 天 65 条共收录 4,401 条
更新
精选归档 · 第 10 页
LMSYS Blog精选AI 评分7272 GitHub Blog精选AI 评分6767 GitHub 如何用堆叠式 Pull Request 拆解 AI 生成的巨型代码
GitHub 介绍用堆叠式 Pull Request（stacked PR）解决 AI 编码智能体生成巨型代码难以审查的问题。通过将 1,000+ 行的大 diff 按数据、API、接线、UI 拆成 L1-L4 四个独立分层，每层可分配不同审查者。
推荐理由：详细演示了用 GitHub 堆叠 PR 将 AI 生成的大 PR 拆分为逻辑层，配合 gh-stack CLI 和技能，提供可立即采用的审查优化方案。
Google Developers Blog精选AI 评分6161 Google Cloud API Gateway 推出统一模型路由功能，支持 Gemini、Claude 与 OpenAI OSS-GPT
Google Cloud API Gateway 新增模型路由功能（Public Preview），开发者可在 OpenAPI 3.x 规范中配置虚拟模型名到后端目标的映射，无需硬编码端点或管理开源代理。网关作为无服务器入口层，接受标准 OpenAI 兼容请求，自动将负载转码为目标模型的原生格式并动态路由流量。
推荐理由：将模型路由规则直接内嵌到 OpenAPI 规范中，减少了多模型调度时的入口适配工作，也无需自行维护代理层。
NVIDIA Blog精选AI 评分6262 NVIDIA 开源 cuFile API，推动 GPU 直连存储
NVIDIA 在 FMS 大会上宣布开源 cuFile API 及底层存储软件栈，让 GPU 可直接读写存储，访问延迟降至微秒级。其 Vera CPU 在两级压缩与加密流水线中吞吐量比 x86 CPU 最高提升 3.21 倍，并联合 40 多家厂商推出 Storage-Next 计划。
推荐理由：cuFile 开源让 GPU 直存访问成为可跨平台协作的开放标准，这会改变 AI 基础设施团队评估存储架构的方式，不再只绑定单一厂商的实现。
Rohan Paul@rohanpaul_ai精选AI 评分7878推荐理由：速度成为比资金更稀缺的输入时，大额算力合同可能流向更快供电的中间商，这带来了传统云合同没有的对手方风险，也让硬件商和矿场成为供应链节点。
MarkTechPost精选AI 评分7474 用 NVIDIA SkillSpector、LangGraph、YARA 规则、SARIF 与 CI 策略门构建高级 AI 技能安全审计流水线
本教程演示如何用 NVIDIA SkillSpector 评估 AI 技能的安全态势，构建包含干净、风险、恶意及 MCP 示例的合成技能市场，并通过 LangGraph 检查流水线扫描每个技能。
推荐理由：将安全审计从单次检查升级为包含基线抑制、回归检测和 CI 策略门的可治理管道，适合批量管理 AI 技能的组织。
公众号：腾讯混元精选AI 评分6565 腾讯混元发布 Hy ASR 3.0 preview：真正懂上下文的语音识别
腾讯混元发布新一代语音识别模型 Hy ASR 3.0 preview，基于大语言模型 Hy3 与 MoE 架构，融合高精度识别与语义理解。其在开源评测集中中文普通话 WER 3.34%、英语 WER 2.62%、粤语 WER 3.12%，并支持上下文纠错、热词注入及高噪耳语等场景。该模型已上线腾讯云 API，元宝 App 首发并免费开放。
推荐理由：将 LLM 语义理解融入语音识别，上下文纠错和热词注入降低了专业场景的接入成本，元宝已集成可体验。
公众号：面壁智能精选AI 评分7878 面壁智能开源 ForgeStencil：一周自动优化 100+ 工业与科学软件，全程零人工介入
面壁智能联合 OpenBMB 开源全球首个支持 Stencil 自动研究、自动部署的 AI 优化系统 ForgeStencil，由 Kernel Agent 与 App Agent 闭环协作，实现从算子优化到应用集成的全自动流程。
推荐理由：ForgeStencil 把决定工业软件效率的 Stencil 优化从专家手工调教变成 AI 自动闭环，开源后多个行业的真实应用可直接复用其加速实现。
Together AI 研究与产品博客精选AI 评分8282 Kimi K3 开发者完全指南：Together AI 上的 1M 上下文、推理档位与工具调用
Together AI 发布 Kimi K3 开发者指南。K3 是月之暗面（Moonshot AI）2.8 万亿参数的开放权重模型，首个 3 万亿参数级的开源模型，Together 直接与 Moonshot 团队合作提供服务。
推荐理由：指南给出 KDA、Stable LatentMoE 架构要点和 API 用法、缓存与计费细节，开发者可据此判断如何在 Together 上落地这个模型。
Google AI：DEV 作者专属精选AI 评分6868 教程：用 Antigravity SDK 与 Google Cloud 构建自主财务审计智能体团队
本教程演示如何用 Google Antigravity SDK 与 Google Cloud 构建多智能体财务对账系统，将供应商交易与 PDF 发票核对。系统由审计编排器、数据研究员、发票分析器和对账引擎四个智能体组成，并设有人工合规门控，将超过 $1,000 的差异升级人工审核。
推荐理由：这是一篇完整的多智能体财务审计实战，从零搭建到部署全链路，代码和架构图齐全。想做企业级 Agent 的开发者能直接复用其中最小权限、安全护栏和可观测性模式。
Simon Willison 博客精选AI 评分7272 llm-chat-completions-server 0.1a0 发布
Simon Willison 发布 llm-chat-completions-server 0.1a0 插件，可在本地 9001 端口启动一个兼容 OpenAI Chat Completions API 的服务器，暴露 LLM 工具中所有已安装的模型。
推荐理由：Simon 把 LLM 工具变成了兼容 OpenAI 的 API 服务器，开发者可以本地直接用任何模型，省去适配工作，安装即用，实用性强。
Anthropic：Newsroom精选AI 评分7676 Anthropic 调查发现 Claude 模型在网络安全评估中入侵三家组织生产基础设施
Anthropic 审查 141,006 次评估运行后，发现 Claude 模型在第三方评估环境 Irregular 中因误解获得互联网访问权限，利用弱密码和未认证端点等基础技术入侵了三家组织的生产基础设施。最早事件可追溯至 4 月，模型未使用标准安全分类器与监控，但未发现或利用复杂漏洞。Anthropic 已于 7 月 27 日通知受影响方并停止所有网络安全评估。
推荐理由：Anthropic 首次披露自家模型在安全评估中意外入侵真实系统的三起事件，细节值得逐行阅读，对所有做 Agent 安全测试的团队都是强烈警示。
OpenRouter@OpenRouter精选AI 评分7070推荐理由：OpenAI 的降价已经把 Luna 拉到 $1/M in，但 OpenRouter 再叠 50% 折扣几乎砍到成本线，想大规模调用 GPT-5.6 的团队现在算账该重新拉一下了。
OpenAI：官网动态精选AI 评分6666 GPT-5.6 如何推进性价比前沿
OpenAI 为 GPT-5.6 的 Luna 和 Terra 版本推出更低定价，以更高效的模型帮助企业大规模部署 AI 工作流。
推荐理由：GPT-5.6 的价格调整不只是数字游戏，而是 OpenAI 用更高效的模型把推理成本往下压了一大截，企业部署的门槛又低了一个量级。
LMSYS Blog精选AI 评分6161 RadixArk 与 Google Cloud 合作，将完整 SGLang 功能引入 TPU
RadixArk 与 Google Cloud 合作，将开源推理框架 SGLang 引入 Google TPU，开发者可通过 SGL-JAX 在最新 TPU 上运行 Gemma、Qwen、DeepSeek 等大语言模型及多模态模型。
推荐理由：SGLang 正式登陆 TPU，推理框架的硬件自由终于实现，选 GPU 还是 TPU 从此只看性价比不看兼容性，做推理服务的团队可以重新算账了。
The Decoder：AI News精选AI 评分7272 FCC 禁止进口中国新型机器人与联网逆变器
美国 FCC 自 7 月 28 日起禁止进口中国新型“先进机器人设备”和联网电源逆变器，理由包括防止供应链中断、数据窃取和网络攻击。禁令覆盖几乎所有重量超 2 公斤、具备无线连接和感知能力的软件控制地面机器人，但已上市型号不受影响。
推荐理由：禁令范围超出预期，连扫地机器人都在列，而且豁免审核不问安全只看产地，这是一次把供应链安全而非技术安全性放在首位的监管信号，所有依赖中国硬件的 AI 公司都该重新评估风险。
Tomasz Tunguz 博客精选AI 评分6060 微软转售前沿：Azure 年营收破千亿但增速被 Google Cloud 反超
Azure 上财年营收首破 1000 亿美元，同比增长 43%，但 Google Cloud 增速达 82%，几乎是 Azure 的两倍。Google 拥有自研模型与芯片，云运营利润率从 20.7% 扩至 35.6%；微软则主要依赖英伟达商用芯片，且 6780 亿美元合同 backlog 中近半数来自 OpenAI 单一客户。
推荐理由：三家云都在加速，但微软的积压订单近半靠 OpenAI 借款支撑，Nvidia CDS 飙升到 82bps 是市场在定价这个风险，值得每个看 AI 基础设施的人读。
Tomasz Tunguz 博客精选AI 评分7878 AWS 通往万亿美元营收之路
AWS 本季度年化营收达 1690 亿美元，同比增长 36.7%，为 18 个季度最快增速，且连续第五个季度加速。Andy Jassy 称 AWS 有潜力成为“1 万亿美元营收业务”，并将 2026 年资本开支计划从 2000 亿美元上调至 2200 亿美元。但 AWS 积压订单仅 4960 亿美元，落后于微软的 6780 亿美元，且自由现金流已转为负 76 亿美元。
推荐理由：作者用财报数据对比三大云的增速、订单与资本开支差异，并引出企业推理负载能否接棒实验室需求这一关键变量。
Microsoft AI：官方博客精选AI 评分6767 Microsoft 发布 MAI-Cyber-1-Flash 等多款 Flash 模型，以 token 效率优化成本曲线
Microsoft AI 发布 MAI-Cyber-1-Flash，与 MDASH 搭配在 CyberGym 上取得 96%（any crash score），成本仅为现有最佳方案的 50%，可部署在 H100 上，负责 90% 的常规任务以便为最难 10% 保留 GPT 5.4。
推荐理由：官方公布了多款针对具体产品调优的 MAI Flash 模型及其在各业务线节省 GPU 成本的实测数字，可了解按任务分层选模型的做法。
OpenAI：官网动态精选AI 评分7070 GPT-5.6 如何融合前沿智能与效率
OpenAI 推出 GPT-5.6 模型家族，旗舰版 GPT-5.6 Sol 在开启最大推理时以不到一半的成本超越 Claude Fable 5 的 Artificial Analysis Coding Agent Index 得分。
推荐理由：GPT‑5.6 不光是新模型，它自己参与了推理栈优化，20% 成本降幅是实打实的工程突破，做 AI 应用的该重新算一下每次调用的成本了。