PyTorch 借助 FlyDSL 加速 AMD GPU 上的算子性能
PyTorch 在 AMD MI350 系列 GPU 上通过现有算子 API 接入 FlyDSL 后端,覆盖 dense/grouped GEMM、FMHA、MXFP8/MXFP4 缩放 GEMM、RMSNorm 和 TopK,无需调用自定义 kernel。
PyTorch 在 AMD MI350 系列 GPU 上通过现有算子 API 接入 FlyDSL 后端,覆盖 dense/grouped GEMM、FMHA、MXFP8/MXFP4 缩放 GEMM、RMSNorm 和 TopK,无需调用自定义 kernel。
Anthropic 发布 Claude Security 最新公测版,面向 Claude Enterprise 客户,新增持续监控,随代码变化定期扫描并自动标记已修复的发现。
vLLM 宣布 Day-0 支持 Recursive 的 Flint,其 NVFP4 和 BF16 checkpoint 均可在单张 GPU 上运行,在一张 GB200、100K token 上下文下单请求解码约 500 tokens/s。
Trail of Bits 发布 patching-bugs 和 regression-hunt 两个插件,让智能体代为开发补丁并检查回归,源自其与 OpenAI 合作的 Patch the Planet 计划。
OpenAI 将 ChatGPT Ads 扩展至 26 个新国家,覆盖范围增至全球 89 国。上线约八个月已有超过 10 万广告主投放,每周超 12 亿人使用 ChatGPT。广告仅在 Free 和 Go 套餐展示,Plus、Pro 和 Enterprise 保持无广告;OpenAI 表示不会向广告主出售用户数据,广告不影响 ChatGPT 的回答。
IBM 发布插件库 vLLM-Hook MIA(model internals aperture),面向 vLLM 推理引擎,让开发者在不关闭图捕获与回放的情况下于运行时观察和干预模型内部状态,例如拒绝恶意提示词、标记幻觉或调整回复语气。
Databricks 计划将 NVIDIA BioNeMo 开源蛋白质设计模型 RFD4-Proteina 接入 Genesis Workbench,运行在其正式可用的 AI Runtime 无服务器 NVIDIA GPU 算力上。
Databricks 宣布 AI Runtime(AIR)正式可用,将全托管 GPU 基础设施直接接入 Databricks,让客户在企业数据所在的 Lakehouse 内训练模型。
Databricks AI Runtime 在 GTC Berlin 上宣布正式可用,开发者可在无服务器 NVIDIA GPU 上使用 NVIDIA NeMo、NGC 容器和 Nemotron cookbooks 训练与微调开源模型。
NVIDIA 扩展 Confidential Computing,新增 Confidential Bare Metal 部署选项,让前沿模型厂商在第三方专用基础设施上运行敏感负载并保留模型与数据控制权。
NVIDIA cuDSS 现已正式可用,这一 CUDA-X 库将工程与科学仿真中的大型稀疏方程组求解迁移到 GPU 上。
NVIDIA 在 GTC Berlin 集中展示本地 AI 硬件 lineup:RTX Spark 面向 Windows PC 个人智能体,DGX Spark 64GB 版 10 月 23 日开售并支持八机集群,DGX Station 提供 748GB 一致内存、最高 20 petaflops 性能,Windows 版 12 月推出。
NVIDIA 在 GTC Berlin 宣布 Bolt(与 Lucid 合作)、Mercedes-Benz、Volkswagen Commercial Vehicles、Einride 等欧洲车企和出行公司在 NVIDIA Hyperion 计算平台上展示自动驾驶用例,Volvo Cars 采用 Hyperion 与 Alpamayo Stack。
NVIDIA 在 GTC Berlin 宣布扩展 Isaac 开放机器人开发平台,Agile Robots 同步发布基于 NVIDIA Isaac GR00T 和 Jetson Thor 的全栈参考人形 Agile ONE SN,计划集成 NVIDIA Halos 安全系统,预计 2027 年初上市。
NVIDIA 扩展开源的 NVIDIA Agent Toolkit,新增 Agent Knowledge Foundation、Kumo 系列开放模型、OpenShell 安全运行时和 NemoClaw 智能体蓝图,用于让企业智能体基于公司数据回答和行动,并提供访问控制与治理。
NVIDIA 在 GTC Berlin 推出 DSX POD 参考设计,用于在模块化集装箱内由合作伙伴预集成、预验证完整的 Vera Rubin AI 工厂,交付后接入已准备好的电力、冷却与网络即可投用。
NVIDIA 在 GTC Berlin 宣布欧洲生态伙伴采用 NVIDIA DSX AI Factory Platform 建设 AI 工厂,其参考设计用闭式液冷与干冷器将冷却水耗降至近零,2GW 部署每天可省 5400 万升水。
NVIDIA 在 GTC Berlin 发布 OpenShell 参考架构,用于在企业和边缘基础设施上构建、隔离、观察并强制执行安全智能体。
NVIDIA 在 GTC Berlin 宣布与多家医疗和研究机构合作,并与 UW Medicine 蛋白质设计研究所共同推出 BioNeMo 开源模型 RFD4-Proteina,将可编程蛋白质设计与搜索能力结合。
NVIDIA 介绍开源运行时 NVIDIA OpenShell 及其参考架构,将智能体视为不可信工作负载,通过 Gateway、Supervisor、Sandbox 和 Policy prover 四个组件在智能体之外实施确定性治理。
NVIDIA 推出安全软件框架 NVIDIA Sentry,在 BlueField-4 DPU 上为 AI 智能体提供主机隔离的运行时防护,独立于主机软件监控并执行智能体对模型、工具和数据的访问策略。
Claude Code 发布 v2.1.306,修复云会话中未带环境变量启动 `claude -p` 时误报“Not logged in”的问题。该版本还修复了在 MCP 工具较多的会话中 API 错误被替换为“prompt is too long”并触发不必要压缩的问题。
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming,仓库为 github.com/vllm-project/humming。
推荐理由:原文给出统一量化表示加 JIT 编译的内核设计和多项基准数字,读者可以据此评估不同 GPU 上的量化推理方案选择。
你现在可以在 API 中选择 12 小时提示缓存。 持久化 agent(如 dots)会在一天中重复使用上下文。 你可以将共享的指令、工具和上下文缓存更长时间,并支付更低的缓存输入费率,即使请求相隔数小时。
推荐理由:作者亲述 API 12 小时缓存与 Codex、Work 侧持久缓存策略,可直接判断对长时间运行 Agent 成本和体验的影响。
Modal 发布 Sticky Sessions,基于 Modal Servers 让同一会话的所有请求固定路由到同一容器,用 @modal.sessioned() 装饰器配合 SDK 或 HTTP API 即可创建。
推荐理由:原文讲清了 Sticky Sessions 的路由、授权与弹性伸缩设计,以及语音智能体、共享房间和游戏等适用场景。
Claude Code v2.1.305 新增 sandbox.allowNestedUserNamespaces 选项,让 Linux 沙箱内命令可创建用户命名空间,从而绕过沙箱的文件保护限制。
Meta 的开放权重模型 Muse Spark Open 在 Fireworks 上线 Day-0 serverless,为 816B 参数 MoE 架构,每 token 激活 42B 参数,支持 1M token 上下文窗口。
推荐理由:Fireworks 给出了 Muse Spark Open 在法律、金融、医疗等多个独立基准的具体分数和上线方式,读者可据此评估其在受监管工作中的适用性。
xAI 为 Grok Bot 新增 IncidentWatch 和 IncidentSweep 两个 AI 队友,分别负责监测客服队列中的同类工单激增并告警、以及在事故解决后批量关闭受影响工单。
vLLM 团队与 Inferact、Google 合作发布 vLLM TorchTPU(vllm-torchtpu),一个在 Google Cloud TPU 上运行 vLLM 的新后端插件,复用 vLLM 既有模型代码,无需改动模型定义即可部署大多数现有模型。
Databricks 在 Agent Bricks 平台推出 Agent Memory Beta,通过存储关键事实、偏好和工作流提升智能体质量并降低成本和延迟,底层由 Lakebase 提供、基于 Databricks 的 MemCurrent 记忆研究。
Databricks 介绍 MemCurrent,一种面向生产 Agent 的持久记忆架构,结合情景记忆与派生记忆,通过插件、工具调用和离线 dreaming 管线三种访问模式读写与整合记忆,已用于 Agent Bricks Memory 和 Genie。
推荐理由:原文给出完整设计、消融和成本数据,读者可以据此评估生产级 Agent 记忆架构的选型与收益。
RadixArk 的 SGLang 团队与 Google、Meta 合作开源 SGLang-TorchTPU,基于 Google 的 TorchTPU 让同一 SGLang 引擎可在 GPU 和 TPU 上提供生产级服务。
同一件事,精选收录的是《Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎》
Google 与 Meta 联合开源 TorchTPU,为 Google TPU 提供原生 PyTorch 后端,模型只需把 .to("cuda") 改成 .to("tpu") 即可开箱运行,无需 JAX 依赖。
推荐理由:原文详述架构、精度模式与多个训练推理案例,读者可据此评估把 PyTorch 工作流迁移到 TPU 的成本。
Hugging Face 宣布通过 PyTorch 原生后端 TorchTPU 支持 TPU,Transformers、Diffusers 和 Kernels 可原生运行,模型加载只需 device_map="tpu",不再需要 torch_xla 或 Optimum TPU。
Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎,分别与 Inferact、RadixArk 合作开发,让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。
推荐理由:原文给出两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口,读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性。
Databricks 宣布 CustomerLake 的 Campaign Agents 进入 Beta、Profile Agents 进入 Private Preview,扩大客户参与范围。
Google 宣布 Coral NPU 32 位架构全部四个里程碑完成,新增 Matrix Execution Unit 可配置至 1 TOPS、目标推理平均功耗 10mW,完整 RTL 已在 GitHub 开源。
IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持任意模型、任意加速器和任意云。
推荐理由:原文给出 llm-d 1.0 的具体能力变化和实测成本数据,读者可据此评估自建推理基础设施是否划算。
Lovable 发布面向企业的十月功能汇总,让大型公司能把 Lovable 应用投入生产并集中治理。
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 的 MPS 后端更新,将 FP8(torch.float8_e4m3fn)带到 Mac,并通过 Metal 内核加速语言模型解码。