Response Caching：相同请求零成本
新推出的 Response Caching 头部实现了 API 请求的缓存机制，完全相同的请求可获得缓存响应，响应时间大幅缩短至微乎其微的水平，且不会产生额外成本。该功能通过自动识别并复用已生成的响应，显著提升了重复请求的处理效率。
推荐理由：OpenRouter 这次更新的响应缓存，直接让相同请求免费用，对频繁调用的场景是个省钱加速的好功能，用过 API 的人都能立刻明白它的价值。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
667 条精选近 30 天 59 条共收录 4,407 条
更新
精选归档 · 第 26 页
OpenRouter：Announcements精选AI 评分5959
Cursor Blog精选AI 评分5555 持续优化智能体工具链：上下文演进与效果评估
Cursor团队以构建软件产品的方式迭代优化其智能体工具链，核心围绕上下文窗口的演进。早期模型能力有限，工具链依赖大量静态上下文和防护机制；随着模型能力提升，团队已转向提供更多动态上下文获取方式并移除限制。评估改进效果采用线上线下结合：通过CursorBench等基准测试进行标准化质量评估，同时进行线上A/B测试，使用“代码保留率”和用户反馈语义分析衡量真实场景表现。团队持续监控并修复工具调用错误，以应对日益复杂的工具链状态。
推荐理由：Cursor 这篇 agent harness 复盘是今年聊 agent 基础设施最好的文章之一，从上下文管理到多 agent 调度，全是实战迭代的血泪经验，做 agent 的团队该逐字读。
OpenAI：官网动态精选AI 评分7474 为智能时代构建计算基础设施：OpenAI 扩展 Stargate 以支撑 AGI 发展
OpenAI 正在扩展其代号为“Stargate”的计算基础设施项目，旨在为通用人工智能（AGI）的研发提供核心算力支持。该项目通过增加新的数据中心容量，以应对全球范围内持续增长的 AI 算力需求。这一举措标志着 OpenAI 在构建下一代大规模计算集群方面进入实质性推进阶段，旨在为未来 AGI 系统所需的巨大计算资源打下硬件基础。
推荐理由：这不是模型发布，但算力扩张才是 AGI 竞赛的真正底层，数据中心扩容直接关系到下一代模型能不能训出来，做基础设施的可以盯一下供应链。
OpenAI Developers@OpenAIDevs精选AI 评分6363引用dominik kundel@dkundelhttp://x.com/i/article/2049579443216338944
推荐理由：OpenAI开发者官方转发了这篇‘直接构建web应用’的文章，说明这可能是他们认可的实践路径，对想用AI快速搭应用的开发者算是个值得收藏的参考。
LMSYS Blog精选AI 评分7474 秒级更新万亿参数——大规模分布式强化学习中的点对点权重传输技术
LMSYS团队针对SGLang中的强化学习工作负载，提出了一种基于RDMA的点对点权重更新机制，作为传统NCCL广播方法的补充。该设计利用源端CPU引擎副本和Mooncake TransferEngine进行P2P RDMA传输，将拥有1T参数的Kimi-K2模型的权重传输时间从53秒大幅缩短至7.2秒，提速7倍。其代价是每个训练等级需在CPU内存中额外占用一个32G的推理引擎副本。此优化最大限度地减少了网络冗余，允许推理服务器更快恢复rollout过程，且兼容所有主流开源模型。
推荐理由：LMSYS 把分布式 RL 训练的权重同步从 NCCL 广播改成 RDMA P2P，1T 参数模型传输快了 7 倍，做大规模 RL infra 的团队该认真看看这个工程方案。
Google Developers Blog精选AI 评分5757 加速AI：通过GCSFS和Rapid Bucket将Google Colossus引入PyTorch
Google Cloud推出了一项高性能集成方案，通过fsspec接口将Rapid Storage直接连接至PyTorch，以消除AI训练瓶颈。该方案利用Google的Colossus架构和双向gRPC流技术，可提供高达15 TiB/s的聚合吞吐量，并显著降低延迟。开发者仅需更新存储桶类型而无需修改代码，即可将总训练时间缩短23%。
推荐理由：Google 把自家 Colossus 存储架构直接接进 PyTorch，号称零代码改动提速 23%，做大规模训练的团队值得评估一下，但对大多数人来说这更像 GCP 的护城河加固。
Manus：Blog精选AI 评分6464 Manus 推出 Cloud Computer：云端专属机器全天候运行 Bot 与脚本
Manus 发布 Cloud Computer，一种云端专属机器，可 24/7 运行 Bot、Python 脚本和定时抓取任务，文件与安装的工具在任务之间保留。
推荐理由：官方介绍了 Cloud Computer 的持久运行、共享文件系统与三种环境分工，读者可据此判断哪些任务适合从临时沙盒迁移过来。
Ant Ling@AntLingAGI精选AI 评分7171
引用Ant Ling@AntLingAGI🚀 今天，我们推出 Ling-2.6-1T，一款专为精确执行指令任务而设计的万亿参数旗舰模型。通过优先采用“快速思考”机制，它以超低 token 开销实现 SOTA 智能，让 token 效率成为一等公民。
推荐理由：蚂蚁把万亿参数模型开源了，但强调的不是大，而是省 token，这对成本敏感的生产环境是真正的性价比之选，做 agent 的可以上手测测。
The Decoder：AI News精选AI 评分7272 OpenAI 在与微软重组协议次日登陆 AWS
微软与 OpenAI 解除了独家合作协议。次日，亚马逊云科技（AWS）便在其 Bedrock 平台上推出了三项新的 OpenAI 服务，其中包括一项双方共同构建的智能体服务。此举标志着 OpenAI 模型正式结束了在微软 Azure 云上的独家托管状态，开始通过 AWS 向更广泛的客户提供。
推荐理由：微软独家协议刚解除，OpenAI就立马登陆AWS并合作推出Agent服务，云AI的阵营格局这下真的松动了，创业公司选平台不再被单一绑定。
OpenRouter：Announcements精选AI 评分6060 OpenRouter 推出 CLI 创建账户功能，集成 Stripe 计费
运行 `stripe projects add openrouter/api` 即可从命令行创建 OpenRouter 账户、获取 API 密钥并配置 Stripe 计费。AI 智能体同样可自动化完成该操作，无需手动注册。
推荐理由：OpenRouter 把注册和计费全塞进一条 CLI 命令，Stripe Projects 加持，agent 都能自己开户了，重度 API 玩家可以省点事，不过就一工具链缝合，不打开也知道。
OpenRouter：Announcements精选AI 评分6565 通过 Stripe Projects 命令行创建 OpenRouter 账户
运行 `stripe projects add openrouter/api` 命令，即可直接从命令行创建 OpenRouter 账户、获取 API 密钥并开通 Stripe 计费功能。该操作支持自动化代理执行，实现了账户开通与支付配置的一站式集成。
推荐理由：OpenRouter 把账户创建搬到了 CLI，你的 agent 也可以直接开号了，这对于需要自动化计费流程的开发者是个便利小更新，但普通用户几乎感受不到变化。
SiliconFlow@SiliconFlowAI精选AI 评分6363引用SiliconFlow@SiliconFlowAI开发者们正在用他们的 token 投票 🔥 SiliconFlow 现已成为按每日 token 使用量计算的第一大第三方模型提供商 在 @OpenRouter 上， • 约 280B tokens/天 • 约 1.9T tokens/月 • 33 个前沿模型：DeepSeek V4 系列、GLM 5.1、Kimi K2.6 等 非常感谢每一位使用我们进行开发的开发者 还有更多即将到来🚀
推荐理由：如果你在选模型API，这个数据比任何benchmark都有说服力。每天280B token的真金白银投票，国产模型厂商里硅基流动已经跑出来了。
Together AI 研究与产品博客精选AI 评分7373 Together AI 上线 DeepSeek-V4 Pro，支持 512K 上下文
Together AI 上线 DeepSeek-V4 Pro，Serverless 推理提供 512K token 上下文窗口，模型级支持 1M 上下文，可迁移至专用基础设施获得完整 1M 上下文与预留容量。
推荐理由：原文给出架构、上下文窗口、推理模式和逐项定价，读者可据此评估该模型是否适合长上下文工作负载。
OpenAI：官网动态精选AI 评分7171 OpenAI模型、Codex与托管智能体登陆AWS平台
OpenAI的GPT系列模型、代码生成模型Codex以及托管智能体现已正式上线亚马逊云科技。企业用户可直接在AWS环境中集成并调用这些AI服务，基于自身云基础设施构建安全、可控的定制化人工智能应用。此次合作将OpenAI的前沿模型能力与企业级云环境的安全性和可扩展性相结合，为企业部署生成式AI与自动化智能体提供了新的平台选择。
推荐理由：OpenAI 终于上了 AWS，这意味着大量被云锁定的企业不用再绕道 API，直接在自家环境里跑 GPT 和 Codex，对做企业级 AI 产品的人来说是个真信号。
LlamaIndex：产品、工程与评测精选AI 评分6262 LlamaParse MCP 重构上线，为智能体提供文档解析工具层
LlamaIndex 重构了 LlamaParse MCP（https://mcp.llamaindex.ai/mcp），重心从存储检索转向由 Parse、Classify。
推荐理由：官方复盘了 MCP 服务器的鉴权、文件上传与限流设计，方法可直接迁移到类似的服务器搭建中。
OpenRouter@OpenRouter精选AI 评分6161推荐理由：OpenRouter 用自家平台数据实测 Opus 4.7 的真实成本变化，不是官方 PR 而是第三方视角，做成本预算的产品人和开发者值得看一眼再决定要不要迁移。
- Ant Ling@AntLingAGI精选AI 评分6262引用LMSYS Org@lmsysorg
🎉 认识来自 @AntLingAGI 的 Ling-2.6-flash，一个即时指令模型，总参数 104B（激活 7.4B）。SGLang 现已提供 Day-0 支持！ 1️⃣ 即时响应：针对低延迟智能体工作流进行调优 2️⃣ 以远更少的激活参数达到与 SOTA 相当的质量 3️⃣ 高 token 效率：在编码、文档处理和智能体任务中显著使用更少 token 4️⃣ 生产就绪，适用于需要速度 + 强大执行的智能体 立即用 SGLang 运行它！
推荐理由：104B 总参但只激活 7.4B，蚂蚁这步棋是冲着 Agent 场景的低延迟去的，做 Agent 产品的人值得跑一下看看实际体感。
Qwen：Blog Retrieval精选AI 评分5757 FlashQLA: 面向GDN的CP-/Bwd友好型融合线性注意力内核
FlashQLA 发布了一组专为梯度下降网络优化的融合线性注意力内核。新内核在设计上对计算模式和后向传播更加友好，旨在提升训练效率。该技术通过优化内核融合策略，改进了注意力机制的计算性能，是提升大规模模型训练速度的关键底层优化。
推荐理由：Qwen 团队发了一篇 fused linear attention 内核的工程论文，目标是把 GDN 架构的推理和反向传播都跑快。做底层优化的工程师值得看一眼，普通开发者可以略过。
Tomasz Tunguz 博客精选AI 评分6464 GPU现货价格六周内暴涨114%
根据Ornn Compute Price Index数据，NVIDIA B200 GPU的现货租赁价格在六周内飙升114%，从三月初的2.31美元涨至本周的4.95美元/小时。此次价格暴涨与GPT-5.5等前沿模型发布带来的需求冲击紧密相关，这些模型需要Blackwell架构提供的内存支持。与此同时，B200与上一代H200的价差从0.28美元大幅扩大至1.80美元，不同云服务商之间的报价差距也扩大了一倍以上，反映出市场供应紧张。预计夏季B200价格将维持在5美元以上，云端推理成本持续上升。
推荐理由：Tomer Tunguz 用 Ornn 真实价格指数拆出 B200 六周涨 114% 的供需逻辑，做 AI infra 选型或算力采购的人该把这张图存下来，夏天 B200 破 5 刀基本板上钉钉。
Runway：News精选AI 评分5858 无闲置GPU：Runway的研究计算管理
Runway通过采用Kueue作为Kubernetes准入控制器，将GPU利用率提升超过20%，同时保障团队容量。其核心机制是为关键工作预留配额，并设立共享队列借用闲置容量，当配额所有者需要时通过抢占回收资源。该系统运行于昂贵的多租户GPU集群，支持多节点训练的拓扑感知调度和弹性工作负载。具体实现中，团队拥有专用预留队列，而默认队列作为共享机会池，可借用闲置配额运行可中断工作负载。当预留队列需资源时，Kueue基于优先级和运行时间抢占默认队列中的任务，实现资源高效管理。
推荐理由：Runway 把 Kueue + Kubernetes 的 GPU 调度实战写成了保姆级工程笔记，利用率翻倍的方案和踩坑细节都有，做大规模训练集群调度的团队可以直接抄作业。