OpenAI 为 GPT-6 推出改进的提示词缓存系统与诊断工具
OpenAI 为 GPT-6 系列推出改进的提示词缓存系统,默认提高缓存命中率,对 30 分钟窗口内复用的合格共享前缀提供最高 90% 的缓存输入 token 折扣。
同一件事,精选收录的是《OpenAI 发布 GPT-6 Sol 和 GPT-6 Luna,API 价格较 GPT-5.6 降 50%》
OpenAI 为 GPT-6 系列推出改进的提示词缓存系统,默认提高缓存命中率,对 30 分钟窗口内复用的合格共享前缀提供最高 90% 的缓存输入 token 折扣。
同一件事,精选收录的是《OpenAI 发布 GPT-6 Sol 和 GPT-6 Luna,API 价格较 GPT-5.6 降 50%》
OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.13 与 Claude Opus 5 的意图分类表现。Jev 准确率 81.0% 比 Opus 的 84.4% 低 3.3 个百分点,但中位延迟 175 ms 约为 Opus(2,266 ms)的 1/13,每千次请求成本 $0.11 对 $2.42(启用提示词缓存)。
推荐理由:原文用同一测试流程给出两家模型的准确率、延迟与成本数据,并演示了基于置信度的级联路由方法,便于读者按自身流量权衡选型。
Anthropic 官方博客拆解 Claude Code 任务在 Opus 5.5 上的成本构成,轮次、缓存读取、输出 token 和模型选择决定账单,Opus 5.5 API 输入输出每百万 token 降价 20%、缓存读取降 60% 至 $0.20。
推荐理由:原文把一次任务的 token 成本拆成轮次、缓存、输出和模型选择四项,并给出 effort 设置与缓存维护的可迁移省钱方法。
vLLM 为追求前沿性能正转向硬件专用的 flat 模型定义,与 fullgraph torch.compile 不兼容,影响 OOT 加速器、旧 GPU 和较冷门模型的支持。
推荐理由:vLLM 团队解释内部架构转向与硬件无关层的设计原则,并给出 H100 上 3.4% 吞吐差距的实测数据,对部署可移植性有参考。
LlamaIndex 发布 LiteParse 2.14.6 更新,通过对自维护 PDFium fork 做内存分配优化(内置 mimalloc)等手段,将文本提取耗时降低 20-25%,平均 2.76ms/页,markdown 渲染 3.94ms/页。
推荐理由:原文给出速度、表格准确率等实测对比数据和新增 API,读者可据此评估是否替换现有 PDF 解析方案。
Shopify 在 PyTorch 官方博客详解其基于 PyTorch 和 vLLM 的持续学习闭环,通过自愈管线把生产失败转为训练信号,用 SFT 加 GRPO 让专用模型质量超越前沿模型,GraphQL agent 服务成本从估算的每年约 2700 万美元降至约 100 万美元,降幅 96%。
推荐理由:原文给出从质量标注、判官校准到 SFT 加 RL 和 gist 压缩的完整闭环方法,可迁移到自建 Agent 的持续学习场景。
OpenRouter 发布 Batch API,异步批量请求由供应商在 24 小时窗口内完成,通常按正常 per-token 价格的 50% 或更低收费,目前已支持 70 多个模型。
推荐理由:公告给出折扣幅度、70+ 模型覆盖和 beta 期 230k+ 批次的实测完成时间,还提示了提交时段对速度的影响。
OpenRouter 发文解读 NVIDIA 的 Nemotron 3.5 Lightning,这是一款 30B 总参数、约 3B 激活参数的混合专家开源权重模型,定位于工具调用、编码等高频、边界清晰的 Agent 执行步骤,与负责复杂推理的 Nemotron 3 Ultra(550B 总参数、55B 激活)形成分工。
推荐理由:OpenRouter 结合自家端点数据拆解 Nemotron 3.5 Lightning 的定位、上下文和调用差异,读者可据此评估它在 Agent 执行层的适用性。
OpenClaw 宣布引入决策模型支持,让智能体中工具筛选、上下文压缩、是否插话等小判断不再走完整对话模型调用。
vLLM 博客作者 Nils Matteson 实测在镜像构建时设置 ENV UV_COMPILE_BYTECODE=1 预编译字节码,H100 服务器上 Qwen3-8B 和 Qwen3-32B 的启动到首个正确响应中位节省分别为 17.6 秒(17.6%)和 17.8 秒(13.9%)。
推荐理由:作者用配对实测给出 uv 预编译字节码对 vLLM 启动的具体节省和设置方法,结果边界和镜像体积代价也交代清楚。
Linear 工程师分享如何解决 AI Agent 加速写代码后 CI 成为瓶颈的问题,PR 等待时间从 6 分钟以上降至 5 分钟出头,单测 runner 时间约减半。
推荐理由:作者以第一手实践拆解 Linear 优化 CI 的具体做法与数据,读者可将其方法迁移到自己的 TypeScript 项目。
Meta 宣布开源 Rebalancer,一个用于解决资源分配问题的通用求解库,已在 Meta 内部使用超过九年,目前每天解决约 4000 万个分配问题,涵盖 30 多种问题建模。
Microsoft Research 在 Nature 发表逆合成预测模型 RetroChimera,结合基于 Transformer 的 R-SMILES 2 和图神经网络模型 NeuralLoc,用 learning-to-rank 集成两者互补预测。
Fireworks AI 推出 Specialized Intelligence Index(SII),汇集开放、闭源与专用模型在真实工作任务基准上的表现,首批覆盖医疗、法律、网络安全、金融、客服、生产力和软件七个领域。
推荐理由:Fireworks 联合多家行业实践方推出领域基准索引,不做跨领域综合排名,读者可按成本和时长自行权衡模型选择。
Prime Intellect 宣布 Prime Sandboxes 正式开放,每个沙箱是完整 Linux 虚拟机,已有约 3000 万个沙箱被创建。默认账户可自服务运行 1,024 个并发沙箱并可扩至数十万,提供超 365,000 个预构建环境,支持 Docker 镜像直接使用,并集成 verifiers、prime-rl 与 Prime Tunnels。
OpenRouter 发布教程,实测 TypeSafe 的决策模型 Jev 1.13 与 GPT Luna、Claude Opus 在工单分诊和提示词注入筛查上的表现:Jev 每 1000 张工单成本 $0.0248、中位延迟 194ms,准确率与 LLM 相当。
推荐理由:OpenRouter 用自家基准数据对比 Jev 与生成式 LLM 的成本和延迟,并给出路由与验证两套可直接复用的代码模式。
OpenRouter 发布教程,讲解如何用其 TypeScript SDK 从零构建工具调用 Agent 循环,示例使用本地天气数据和 google/gemini-3-flash-preview 等模型。
OpenClaw 发布原子更新结构:更新期间保持现有 gateway 运行,失败时回滚到最后可用配置,并始终保留一个可用的 Agent 来诊断和修复升级故障,同时上线了针对更新问题的一键报告入口。
Factory 发布 Factory Private 部署选项,让企业在自有 VPC、本地环境或气隙网络中运行 Factory,与 Factory Managed 共同构成两种部署模式。
GitHub 工程师 Stephen Toub 复盘用 Copilot 智能体在约 14.5 周内将 Copilot agent runtime 从 TypeScript/Node.js 全量重写为 832,378 行生产 Rust,AI 智能体完成大部分代码,共 128 个 PR 增量合入 main 并持续发布。
推荐理由:当事工程师复盘用 AI 智能体在数月内将 Copilot 运行时迁往 Rust 的全过程,策略、回归样本和成本数据对同类迁移有直接参考价值。
vLLM 团队扩展 Speculators 训练库,为 2.8T 参数的 Kimi K3 训练出 DSpark 投机解码 draft 模型,将数学推理单流交互速度从约 110 提升至约 435 tok/s/user,并发负载下输出吞吐最高提升约 3.5 倍。
NVIDIA 技术博客讲解 dense 与 MoE 架构在参数激活、吞吐和部署上的差异,以 Nemotron 3.5 Lightning 为例说明 MoE 每词元仅激活约 3B 参数、总参数 30B 仍需约 60 GB 显存。文章给出按显存预算、并发、微调和量化需求选型的建议,并对比 Gemma 4 31B、Qwen3.8-27B、Mistral Small 4 等模型的输出速度与价格数据。
Anthropic 为 Claude for Small Business 新增 43 个 workflow 和 27 个集成,覆盖 Shopify、Salesforce、TikTok、Zoom、Stripe、Zapier 等工具,该产品自 5 月上线以来安装量超过 90 万次。
推荐理由:原文给出43个workflow、27个新集成和默认审批模式的控制方式,读者可以据此判断它怎样接入小店现有的工具链。
Fireworks 发布 DeepSeek-V4.1-Flash,在 DeepSWE 上取得 74.34% pass@1、每任务 $0.43,与 GPT-6 Astra 同一精度区间但成本仅 1/15。
推荐理由:官方以多基准实测给出 DeepSeek-V4.1-Flash 与闭源模型的成本质量对比和架构细节,可帮助开发者做选型与成本权衡。
Anthropic 与 Accenture 联合发布帮助 CIO 和技术负责人把 AI 项目从试点推进到生产的实用蓝图。指南引用 Accenture 2026 年 7 月报告称仅 23% 的高管认为 AI 项目取得持续的企业级影响,并列出按时间顺序的七项考量、四部分任务定义、轻量总拥有成本模型、四层监督模型及决策过渡蓝图。
Anthropic 工程师撰文分享如何在智能体编程压力下扩展测试影响分析服务。Claude 编写约 80% 的代码,测试数量增长 10x,六个月内 CI 任务增加 25x。文章复盘了三个临时补丁(扩容、按包分片、每日重启)分别只维持 70 天、29 天和不到一天,最终用三周重设计为无状态、内存存储加 journal 的可水平扩展架构,并建议团队按两季度内 25x 负载做容量规划。
推荐理由:作者复盘了智能体编程把 CI 推向 25x 负载的完整演进,给出可迁移的架构与容量规划经验。
Anthropic 介绍医疗组织如何在 beta 版 Claude Tag(Slack 内智能体)的帮助下分诊生产告警、维护内部工具并回答 payer 规则问题,使用场景均限于不接触 PHI 的渠道。
Perplexity 在兼容的 NVIDIA GeForce RTX PC 和 RTX PRO Workstation 上推出 Windows 版 Portable Computer,这是 Perplexity Computer 的本地版本,可规划并执行多步任务,敏感数据留在设备上且本地任务不消耗云端 credits。
蚂蚁 inclusionAI 发布 SingProbe,一个基于 Qwen/Qwen3.5-4B 的轻量探针,复用基座模型隐藏状态在生成时逐 token 输出查询意图、回复不安全性和幻觉风险三类评分,仅 5.18M 参数,解码开销低于 0.5%。
Claude API 的 Messages API 支持按需压缩对话,处于 beta 阶段,需使用 compact-2026-09-04 beta 头。
vLLM 团队详解 Kimi K3 从 v0.27.1 到 0913 main 的服务性能优化,在 8K/1K、TP8、B300 节点测试下延迟降低 56%–60%,吞吐提升 2.2–2.8 倍,TTFT 降低 72%–85%。
Fireworks 发布 2026 年开源 LLM 选型指南,覆盖 GLM 5.2、Kimi K3、Kimi K2.7 Code、DeepSeek-V4-Pro/Flash、MiniMax M3、Qwen3.7 Plus、gpt-oss-120b 和 Gemma 4 31B IT 九款模型。
Three months ago, we launched ChatGPT Sites – an easy way for anyone to build and host fully functional, interactive web apps. Since then, people have created over 5M sites. We’ve been listening to your feedback and ICYMI, we’ve launched a few Sites updates: 🫂 Build together: Invite teammates to edit, save, and publish to your shared Site 🔐 Share privately: Invite specific people to a private Site without making it public 🚀 Launch faster: Go from prompt to deployment in half the time 👀 Explore your data: Ask ChatGPT to inspect your Site’s database. Editors can view it, too 🌐 Add your own custom domain
DeepSeek 本周在 HuggingFace 开源 DeepSeek-V4.1-Flash 权重,模型总参数 552B,prefill 激活 8B、decode 激活 16B,支持 1M token 上下文和文本加图像输入,已上线 Baseten Model APIs。
推荐理由:文章解释了 CED 架构如何把 prefill 降到 8B 激活参数并压缩 KV cache,读者能理解它为何更适配编码智能体的高 prefill 负载。
OpenAI 发文(系列上篇)讲述其在线存储平台 Habitat 的演进:现每秒处理超 7000 万请求、服务每周超 10 亿用户、管理超 500PB 数据,覆盖近 40 个地区。
推荐理由:原文披露了 Habitat 从 Python 库到 Rust 服务的完整演进细节,含 asyncio 调优、连接池等可迁移经验。
OpenRouter 发布 Fusion 复合推理系统,将一个提示词并行发给 1 到 8 个面板模型,由 judge 比较共识与分歧后由调用模型写出最终答案。默认三模型面板成本约为单次完成的四到五倍、延迟两到三倍,在 DRACO 深度研究基准上预算面板得 64.7%、前沿面板得 69.0%。
推荐理由:官方详解 Fusion 的多模型辩论机制、四到五倍成本与两到三倍延迟,并给出适用与不适用的具体场景。
OpenRouter 发布 Presets 使用教程,preset 是一个命名且带版本的配置,统一存放模型或 fallback 列表、system prompt、provider 路由和采样参数,在任何请求中以 "model": "@preset/名称" 引用。
Together AI 扩展 Together Fine-Tuning 服务,新增对 GLM-5.3、Kimi K2.7、Qwen 3.5 系列等最新开源权重模型的支持,并上线实时实验跟踪、数据集预览验证等能力。
推荐理由:原文给出新模型支持、Expert LoRA 实测对比、自动早停和降价幅度等具体细节,读者可据此评估微调工作流的实际改进。
Blaxel 宣布并入 Baseten,目标是在一个平台上同时提供模型训练、推理和长时间运行的智能体执行能力。Blaxel 此前构建了智能体所需的沙箱、Agent Drive 分布式文件系统和网络连接层,其中沙箱可在 25 毫秒内挂起和恢复,空闲时接近零成本;Baseten 的推理栈已在数十个地区规模化运行。
GitHub Next 的 Don Syme 在 AI Native DevCon London 演讲中提出,应在 CI 和 CD 之外增加第三个支柱 Continuous AI,即在软件生命周期中以定时、可审计、由仓库事件触发的 AI 工作流实现持续文档、代码改进和问题分拣。