部署工程 最新动态

Cognition 发布 SWE-1.5 编码智能体模型，经 Cerebras 推理达 950 tok/s

Cognition 发布软件工程模型 SWE-1.5，参数达数千亿级，与 Cerebras 合作以最高 950 tok/s 提供推理，速度为 Haiku 4.5 的 6 倍、Sonnet 4.5 的 13 倍。

AI基建扩张观察

AI基础设施建设正面临晶圆厂资本支出过剩的风险，同时算力扩张带来每周1吉瓦的能源消耗压力。文章指出，在长周期基础设施竞赛中，中国凭借产业链整合优势占据有利地位。分析涵盖了AI基建中的产能过剩隐忧、电力瓶颈挑战，以及地缘政治背景下的技术长跑格局，揭示了算力军备竞赛背后的资本与能源约束。

Provider Variance: Introducing Exacto

同一AI模型在不同服务提供商上的性能表现可能存在显著差异。为了量化这种“提供商方差”，研究团队推出了Exacto评估平台。该平台通过标准化测试揭示，即使是相同的模型（如GPT-4、Claude或LLaMA），在不同云服务或API提供商处运行时，其输出质量、响应速度和稳定性都可能产生高达30%的波动。这一发现对企业和开发者的模型部署策略具有直接影响，强调在选择服务商时需进行针对性性能基准测试。

Claude Haiku 4.5 发布：最快最智能的 Haiku 模型，性能接近前沿

Anthropic 推出 Claude Haiku 4.5，定位为最快且最智能的 Haiku 系列模型，性能接近前沿水平。该模型专为实时应用、高吞吐量处理以及对推理能力要求较高的成本敏感型部署场景设计。

Thinking Machines Lab 发布语言模型微调 API Tinker

Thinking Machines Lab 于 2025 年 10 月 1 日发布 Tinker，一个用于微调语言模型的灵活 API，官方处理分布式训练的复杂性，用户可控制算法和数据。

Answer.AI 开源 cachy，让 notebook 中 LLM 调用快 60 倍

Answer.AI 发布开源 Python 包 cachy（pip install pycachy），通过补丁 httpx 的 send 方法，把 Anthropic 和 OpenAI SDK 的 LLM 调用响应自动缓存到本地并在相同请求时复用，无需编写 mock。

OpenRouter 推出每月100万免费BYOK请求

OpenRouter 向每位客户每月提供100万次“Bring Your Own Key”（BYOK）请求，完全免费。

每月 100 万次免费 BYOK 请求

所有客户每月可免费获得 100 万次“自带密钥”（BYOK）请求。这一政策将 BYOK 功能从付费服务转变为免费提供的基础配额，大幅降低了企业使用自有密钥管理数据安全的技术与成本门槛。免费额度覆盖了绝大多数中小规模企业的典型月请求量。

inclusionAI/dInfer

inclusionAI团队发布了dInfer，一个专为扩散语言模型设计的高效推理框架。该框架旨在解决扩散模型在文本生成领域推理速度慢、资源消耗大的核心挑战。dInfer通过一系列底层优化技术，显著提升了推理效率，能够更快地生成文本，同时降低计算成本，为扩散模型在更广泛的实际应用场景中部署提供了关键技术支持。

Sam Altman@sama· 21:42精选

OpenAI 与 NVIDIA 宣布合作建设 gigascale AI 工厂，将部署数百万 NVIDIA GPU，提供 10 gigawatts 算力支持 OpenAI 数据中心扩张。双方合作关系已持续近十年。

充裕的智能

计划打造每周可新增1吉瓦算力的AI基础设施工厂，通过芯片、电力到机器人的全栈创新，支撑治愈癌症、全球个性化教育等宏大应用。项目将主要落地美国，未来数月公布合作伙伴，年底披露融资方案。

近期三次基础设施故障的事后分析

八月初至九月中旬，Anthropic的三次基础设施漏洞间歇性导致Claude响应质量下降。8月5日，上下文窗口路由错误致使部分Sonnet 4请求被误导向百万token服务器，8月31日高峰时影响16%请求。8月25日，TPU服务器错误配置引发输出损坏，可能在英文回复中生成泰文或中文字符，影响Opus和Sonnet模型。同日部署的代码还触发了编译器漏洞，主要影响Haiku 3.5。所有问题均非需求或负载所致，纯属基础设施漏洞。公司通过回滚部署和修复逻辑于9月18日前全部解决。

Hugging Face 详解 transformers 为支持 OpenAI GPT-OSS 做出的多项性能升级

Hugging Face 发文介绍为让 OpenAI GPT-OSS 系列在 transformers 上高效运行所做的库升级，包括可从 Hub 下载的零构建内核、MXFP4 原生量化、张量并行、专家并行、动态滑动窗口缓存、连续批处理与更快的模型加载。

破解LLM推理中的非确定性

LLM推理的再现性是科学进步的基础，但即使在温度设为0的贪心采样下，ChatGPT等API以及vLLM、SGLang等自托管推理引擎仍无法保证确定性结果。常见的“并发+浮点非结合性”假设并不完整——GPU上重复执行相同矩阵乘法结果完全一致。真正原因在于：部分GPU内核是非确定性的，但LLM前向传播使用的内核均为确定性；推理服务器前向传播本身是确定性的，用户感知的非确定性源于浮点运算非结合性在不同聚合顺序下导致的细微数值差异。文章揭示了这一误解，并探讨如何实现真正可重现的LLM推理输出。

FireRedTeam 开源 FireRedChat 全自托管全双工语音交互方案

FireRedTeam 发布 FireRedChat，一个完全自托管的实时语音 AI 智能体全双工交互解决方案。系统集成了 TTS、ASR、pVAD（个性化语音活动检测）和 EoT（结束轮次检测），不依赖外部 API、无数据泄露、部署完全可控。

Linear 发布 Triage Intelligence：用搜索与 LLM 推理自动整理工单

Linear 上月推出 Triage Intelligence，利用搜索、排序和 LLM 推理自动为新增工单标记重复项、关联问题并推荐标签与负责人。早期版本使用 GPT-4o mini 和 Gemini 2.0 Flash 等小模型，后转向 GPT-5 和 Gemini 2.5 Pro 等更大模型实现智能体式决策。

Hugging Face 教程：用 PyTorch 提前编译加速 ZeroGPU Spaces 生成模型

Hugging Face 发布教程，介绍如何在 ZeroGPU Spaces 中用 PyTorch ahead-of-time（AoT）编译优化 H200 上的图像和视频生成 demo。

Claude Platform 发布 Code Execution Tool v2 公测版，支持 Bash 命令与文件操作

Claude Platform 推出 Code Execution Tool v2 公测版，取代原先仅支持 Python 的工具，新增 Bash 命令执行和直接文件操作能力，包括用其他语言编写代码。

Claude Platform 发布 PHP SDK 测试版

Claude Platform 于 8 月 27 日推出 PHP SDK 测试版。该 SDK 允许开发者通过 PHP 语言调用 Claude API，构建基于 Claude 的应用程序。

Hao AI Lab@haoailab· 05:25精选AI 评分6767

FastVideo团队推出FastWan系列快速视频生成模型。该模型采用名为“稀疏蒸馏”的新训练方法，能将视频去噪速度提升70倍。在单块H200 GPU上，仅需5秒即可生成一段5秒的视频。团队提供了在线演示，并依据Apache-2.0许可证完全开源了模型、代码和数据。