部署工程 最新动态

ClaudeDevs@ClaudeDevs· 09:28精选AI 评分6868

Claude Code 云会话正式可用，结束研究预览阶段，可在笔记本合盖后继续在 Anthropic 托管的基础设施上运行。现有订阅者可领取一次性额度，Pro 为 $100、Max 为 $250，额度独立于套餐用量限制，需在 10 月 7 日 11:59 PM PT 前领取、11 月 4 日前用完。

Cursor 发布 Rollouts 和 Security Reviewer 开发机器人

Cursor 发布两款软件开发机器人 Rollouts 和 Security Reviewer，帮助团队更快把安全可靠的代码送入生产环境。

Cursor 提升 agent 长时运行 token 效率，用户成本降低 7%

Cursor 通过改进 agent harness，在不降低 agent 质量的情况下将用户 token 成本降低 7%。

Fireworks 发布 Ember-1，以约四成更少 token 达到 Kimi K3 质量

Fireworks Research 发布基于 Kimi K3 训练的专用模型 Ember-1，通过学习精简不必要的推理，在保持质量的同时减少约 35-50% 的 reasoning token。

eric zakariasson@ericzakariasson· 04:27精选AI 评分7777

一份公开提示词用于优化 LLM Agent Harness，目标是在不降低任务质量的前提下降低每任务的价格加权 token 成本。某团队一轮改动（提示词精简、工具卸载、缓存布局、稀疏行号、子智能体调优）将整体 token 成本降低约 7%，且质量无损。提示词强调按任务而非按请求计量，并建议先映射 harness、测量基线，再按优先级实施改动。

Modal 详解如何以万亿 token 规模服务 Kimi K2.6 编码 Agent 推理

Modal 分享为编码 Agent 提供万亿参数模型 Kimi K2.6 推理服务的优化实践，优化后单副本每用户性能提升 2.8x、副本整体吞吐提升 5.6x，单个服务日处理数千亿 token。

vLLM 发布 vllm-metal v0.28.0：在 Apple Silicon 上支持并发推理服务

vLLM 官方发布 vllm-metal v0.28.0，把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon，由 MLX 和 Metal 执行模型，版本号与上游 vLLM 对齐。

OpenRouter 实测 Jev 1.13 与 Claude Opus 5 在 Banking77 分类任务上的准确率、延迟与成本

OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.13 与 Claude Opus 5 的意图分类表现。Jev 准确率 81.0% 比 Opus 的 84.4% 低 3.3 个百分点，但中位延迟 175 ms 约为 Opus（2,266 ms）的 1/13，每千次请求成本 $0.11 对 $2.42（启用提示词缓存）。

Anthropic 详解 Opus 5.5 上一次 Claude Code 任务的成本构成

Anthropic 官方博客拆解 Claude Code 任务在 Opus 5.5 上的成本构成，轮次、缓存读取、输出 token 和模型选择决定账单，Opus 5.5 API 输入输出每百万 token 降价 20%、缓存读取降 60% 至 $0.20。

vLLM 引入硬件无关层以兼容 torch.compile 与 OOT 加速器

vLLM 为追求前沿性能正转向硬件专用的 flat 模型定义，与 fullgraph torch.compile 不兼容，影响 OOT 加速器、旧 GPU 和较冷门模型的支持。

LiteParse 9 月更新：PDFium 提速 20-25%，新增视觉定位与 is-complex 路由 API

LlamaIndex 发布 LiteParse 2.14.6 更新，通过对自维护 PDFium fork 做内存分配优化（内置 mimalloc）等手段，将文本提取耗时降低 20-25%，平均 2.76ms/页，markdown 渲染 3.94ms/页。

Shopify 如何用 PyTorch 和 vLLM 构建持续学习闭环，服务成本降低 96%

Shopify 在 PyTorch 官方博客详解其基于 PyTorch 和 vLLM 的持续学习闭环，通过自愈管线把生产失败转为训练信号，用 SFT 加 GRPO 让专用模型质量超越前沿模型，GraphQL agent 服务成本从估算的每年约 2700 万美元降至约 100 万美元，降幅 96%。

OpenRouter 推出 Batch API，批量推理可享半价

OpenRouter 发布 Batch API，异步批量请求由供应商在 24 小时窗口内完成，通常按正常 per-token 价格的 50% 或更低收费，目前已支持 70 多个模型。

transformers 支持直接加载 GGUF 量化模型，本地推理性能接近 llama.cpp

Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型，通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint，并复用 ggml 的 Metal 内核。

OpenRouter 解读 NVIDIA Nemotron 3.5 Lightning 如何承担 Agent 高频执行调用

OpenRouter 发文解读 NVIDIA 的 Nemotron 3.5 Lightning，这是一款 30B 总参数、约 3B 激活参数的混合专家开源权重模型，定位于工具调用、编码等高频、边界清晰的 Agent 执行步骤，与负责复杂推理的 Nemotron 3 Ultra（550B 总参数、55B 激活）形成分工。

用一个 uv 编译开关为 vLLM 容器启动省下约 18 秒

vLLM 博客作者 Nils Matteson 实测在镜像构建时设置 ENV UV_COMPILE_BYTECODE=1 预编译字节码，H100 服务器上 Qwen3-8B 和 Qwen3-32B 的启动到首个正确响应中位节省分别为 17.6 秒（17.6%）和 17.8 秒（13.9%）。

Linear 重构 CI 流程应对 AI 编码带来的验证瓶颈，PR 等待时间从 6 分钟降至 5 分钟

Linear 工程师分享如何解决 AI Agent 加速写代码后 CI 成为瓶颈的问题，PR 等待时间从 6 分钟以上降至 5 分钟出头，单测 runner 时间约减半。

Tomer Tunguz 谈 AI 优化 if-then 判断：专用决策器把分类成本降近百倍

Tomer Tunguz 撰文提出最新一波 AI 正在接管软件中的 if-then 判断原语，Jev 与 SemIf 这类专用决策器以数百毫秒返回结果，成本比传统生成式调用低约 76x 到 209x。作者在自己的 Agent 中替换了约四分之一的调用，在 98 条人工核验的生产邮件线程上，Jev 达到 80%、本地 SemIf 达到 82% 的分类准确率，高于生产模型的 47%。

Fireworks AI 推出 Specialized Intelligence Index 领域基准索引

Fireworks AI 推出 Specialized Intelligence Index（SII），汇集开放、闭源与专用模型在真实工作任务基准上的表现，首批覆盖医疗、法律、网络安全、金融、客服、生产力和软件七个领域。

OpenRouter 实测 Jev 决策模型对比 LLM，何时该用决策模型替代生成文本

OpenRouter 发布教程，实测 TypeSafe 的决策模型 Jev 1.13 与 GPT Luna、Claude Opus 在工单分诊和提示词注入筛查上的表现：Jev 每 1000 张工单成本 $0.0248、中位延迟 194ms，准确率与 LLM 相当。