NVIDIA AICR v1.0 发布:开放、稳定、可验证的 GPU 集群配置
NVIDIA 发布 AI Cluster Runtime(AICR)v1.0,为其 CLI、REST API、Go SDK、bundle 布局和 artifact schema 建立稳定兼容契约。
NVIDIA 发布 AI Cluster Runtime(AICR)v1.0,为其 CLI、REST API、Go SDK、bundle 布局和 artifact schema 建立稳定兼容契约。
IFCO 数据平台团队与 Databricks Forward Deployed Engineering 合作,将核心语义层作业的每日运行时间缩短超过 60%,并停用了昂贵的夜间全量刷新。改造后转换逻辑仍留在 dbt 中,运行在 Databricks 上,通过 Liquid clustering、merge 增量策略和行哈希校验等配置,让每次运行只触碰实际变更的数据。
Cerebras 发文解析大规模 MoE 模型在真实硬件上的扩展难题:GPU 上需依赖专家并行(EP)等多种并行策略,专家负载不均会拖累硬件利用率,且通信开销随专家数量增加而恶化。Cerebras WSE 凭借约为最新单 GPU 900 倍的片上 SRAM 和 weight streaming 技术,无需分布式计算即可在单台设备上训练万亿参数 MoE 模型。
Databricks 在 Databricks Runtime 中推出 NEAREST BY join 语法,把批量向量搜索实现为引擎原生的 top-k 排名 join,而非调用外部实时端点。
NVIDIA 在 Megatron Core 中降低比特级确定性预训练的开销,并以万亿参数 Nemotron 模型为案例验证。该方案提供独立可复现与比特级断点续训两项保证,通过逐步指纹比对训练损失、梯度范数等指标定位首个不一致步骤,并借助从迭代到 kernel 的渐进式追踪排查分歧来源。
Together AI 发布 Together Link,把团队已用的编码智能体工具连接到 Together AI 上的开源模型,宣称可节省超过 50% 支出。
推荐理由:原文给出支持的工具清单、Auto 路由机制和每会话费用对比方式,读者可评估它能否直接嵌入现有编码智能体工作流。
PyTorch 加速器集成工作组公布 2026 H1 进展,推出跨仓库 CI 中继(CRCR)机制,可在 pytorch/pytorch 的 PR 提交后并行触发下游仓库 CI 并回传状态至 hud.pytorch.org/crcr。
OpenRouter 发文比较 OpenAI、Anthropic、Google 与 OpenRouter 四家的服务端代码执行工具,介绍各自沙箱的语言、网络、持久化与计费差异,并推出处于 beta 的 openrouter:shell 与 openrouter:bash 工具,可在 Responses 和 Messages API 上为任意模型运行命令。
TypeSafe AI 的首个模型 Jev 在 Modal 上于发布后三天内处理超 1 万亿 token,并在 OpenRouter 1K-10K token 上下文榜单登顶,承接 15.1% 的请求。Jev 并非大语言模型,而是非自回归的 System One Model,以状态和问题为输入,并行输出带概率的结构化类型值,训练采用自研的 RLCD 方法。
Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。
推荐理由:作者亲测用智能体生成定制推理引擎,给出了相对 vLLM 的具体性能数据和成本,可帮助读者评估自动优化的实际可行性。
Prime Intellect 发布 Prime Inference,提供 serverless 端点与预留容量,在多数据中心 GPU 基础设施上服务前沿开源模型,内部每天处理近一万亿 token。
推荐理由:作者以自家生产数据说明 disaggregation、NVFP4 KV 压缩等优化路径,工程细节对做推理服务的人有可参考之处。
vLLM 将 PyTorch 原生内核 DSL Helion 集成进线性后端,用单一 GEMM 实现覆盖 Standard GEMM、Split-K、Swap-AB 等变体,并按 shape 自动调优选择最优配置。
Baseten 的 Model API 在 Artificial Analysis 上跑出 200+ TPS、约 200ms TTFT,成为该榜单上最快的 GLM-5 服务。
Factory 推出重新设计的 Analytics,可按模型和用户查看 credits 消耗、模型占比与成本集中度,并展示日活、月活用户和会话数。Factory Router 自动为每个请求选择高效模型,生产环境总成本较前沿模型费率降低 63%,同时保持前沿级评测表现。
Databricks 发布基于 Lakebase 和 AI Search 的电商实时推荐参考架构,源自服务亚洲某时尚电商平台的真实实现,该平台月活超 100 万、SKU 超 10 万。系统每秒摄入约 1000 条事件,通过 Zerobus Ingest 写入 Unity Catalog Delta 表,并采用预计算批量推荐与实时会话感知两条服务路径。
OpenRouter 发布教程,讲解客服机器人如何用 cheap-first 路由把常规 FAQ 交给便宜模型、仅在必要时升级到更强模型。
PyTorch 团队发布用 TLX(Triton 低层扩展)在 NVIDIA Blackwell B200 上优化 Jagged Flash Attention(Meta 生成式广告模型 GEM 的 attention kernel)的博客。
Cerebras 用解耦(disaggregation)技术在同数量系统上把推理吞吐提升 5 倍,且不损失 token 生成速度。其异构解耦方案把推理中受内存或算力约束的不同阶段分配到不同芯片上,从而获得超越同构解耦的收益。这是该系列文章的第一篇,从加速器的算力与内存带宽、算术强度讲起,解释 prefill 与 decode 阶段对硬件的不同需求。
Modal 在其首届 Runtime 大会上发布多项产品更新。VM Sandboxes 为 Agent 提供完整 Linux 环境,已在 Linear、Legora。
推荐理由:Modal 在 Runtime 大会上发布多项基础设施更新,可帮助读者了解面向 Agent 和大规模推理训练的部署能力变化。
Modal 宣布 VM Sandboxes 正式 GA,只需设置 runtime="vm" 即可获得支持 Docker、FUSE 和内核功能的完整 Linux VM,沿用原有 Sandbox 的 API、modal.Image、亚秒级冷启动和内存爆发能力,早期客户已启动超过 2000 万个 VM。
推荐理由:Modal 官方说明 VM Sandbox 的能力边界、切换方式和 Linear 等早期客户的实际用法,对需要给 Agent 配完整机器的开发者有直接参考价值。
Databricks 为 Lakebase Postgres 推出基于分支的恢复机制,将恢复时间从数小时降至秒级,即使数据库规模达 100 TB。该架构将计算与存储解耦,数据库历史已存于对象存储中可直接引用,恢复只需在指定时间戳创建分支这一元数据操作,无需拷贝数据或重放 WAL。
Ai2 发布 Olmo-core 3,这是支持大规模混合专家(MoE)训练的开源框架,已验证可扩展至万亿参数级别。在 8 张 NVIDIA B300 GPU 上,47B 参数 MoE 吞吐达 52,000 tokens/秒/GPU,约为旧 FSDP 实现的 2.7 倍;专家池从 8 扩至 128 而训练吞吐下降不足 5%。
NVIDIA 提出 AI 工厂投资回报取决于产出能力、使用寿命与需求三项因素,其平台通过全栈协同设计实现每兆瓦吞吐最大化。SemiAnalysis AgentX 数据显示,Vera Rubin NVL72 每兆瓦吞吐量比 GB300 NVL72 高 30 倍以上,在 DeepSeek V4 Pro 上每百万 token 成本低至 45 倍。
Modal 宣布 Modal Clusters 正式可用,通过 @modal.clustered 装饰器一行代码即可启动多节点集群。
推荐理由:原文解释了 gang 调度、rdma=True 和 gVisor RDMA 支持等实现细节,可帮助读者判断多节点训练推理的部署成本。
OpenRouter 发布教程,讲解如何用固定的 eval 集在 CI 中门禁 pull request,当通过率低于阈值时脚本以非零退出码阻止合并,做法与单元测试门禁一致。
推荐理由:原文给出了从脚本到 GitHub Actions 的完整可复现流程,并强调了路径过滤须放 job 层、阈值应实测等易错点。
OpenRouter 发布一个三步框架,用于为 Agent 任务选出以最低成本达到质量门槛的模型,而不是按排行榜排名选最高分模型。方法是先按任务设定质量门槛,再用 20 到 50 条自己的示例运行廉价、中档和前沿模型并用统一评分标准计算每质量点成本,最后选出以超过运行间分数波动的余量过线的最便宜模型。
推荐理由:原文给出可复用的三步选型方法,读者可以据此按任务质量门槛测量并选出成本最低的够用模型。
OpenRouter 发布教程,讲解如何让廉价模型通过结构化输出返回 0 到 1 的置信度字段,低置信度的请求再升级到更强模型。文章强调置信分数只是自报、不是校准概率,应基于自己流量的分数段错误率排序设定阈值,并在上线后监控分数分布、升级率和未升级答案的错误率持续调整。
推荐理由:原文给出按置信度分数分级路由的完整做法,读者可以照着在自己流量上校准阈值并权衡准确率、成本和延迟。
Databricks 的 IP Functions 已正式 GA,让 IP 地址分析成为 Lakehouse 上原生的高性能 SQL 工作负载。这套内置函数统一支持 IPv4 与 IPv6、原生解析 CIDR,并提供 ip_cidr_contains 等函数及返回 NULL 的 try_ 安全变体,无需 UDF 或正则。
NVIDIA Dynamo-Triton(原 Triton Inference Server)现已通过 recsys-examples 仓库支持端到端 HSTU 生成式推荐推理工作流,结合 PyTorch AOTI、FlexKV KV 缓存与 NV embedding cache。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向可信网络防御者开放,后续将逐步面向开发者、企业和消费者推出。
推荐理由:官方发布给出了定价、输出 token 上限和多项基准成绩,读者可以据此比较它在编码与企业工作流中的实际位置。
Databricks 推出新的 AI Function ai_decide(Beta),由 TypeSafe AI 的 Jev 决策模型驱动,对文本评估一个或多个问题,在几分之一秒内返回概率、命名标准中的选项或有序量表评分,延迟和成本低于 LLM。
NVIDIA 宣布 xio-sig 在 cuFile 之外新增 cuObject,并正式开放 cuObject 客户端与服务器库,开发者可通过其 API 和 RDMA 线协议构建加速对象存储应用。同步推出的 SCADA Server SDK 让存储厂商构建响应 GPU 发起请求的 SCADA 服务器,IBM 已用集成 Storage Scale 的原型验证互操作性。
Databricks 的 Lakebase Postgres 通过存储计算分离架构实现成本优化:数据库分支共享底层存储,避免为每个环境复制物理副本;自动扩缩容按实际用量计费,配合 scale to zero 可在闲置后完全暂停计算,几百毫秒内恢复。
PyTorch Conference North America 2026 将在 San Jose 举行,官方发布了一份聚焦 Ray 的参会指南。Ray 是分布式计算框架,可覆盖从多模态数据整理、多节点训练到生产部署的完整 AI 生命周期,已成为 Cursor、Microsoft AI、NVIDIA 等机构开展后训练与强化学习的标准底座。
Google 在 TPU 上通过稀疏注意力内核优化加速视频扩散模型推理,将理论稀疏性转化为端到端实际加速。
NVIDIA 发布教程,演示如何用 NeMo Relay 追踪 Hermes Agent 的 harness 行为:运行终端工具与文件加网页研究两个示例,通过 ATOF、ATIF 和 OpenTelemetry 三种格式的 trace 检查模型与工具调用、错误、重试、耗时和 token 消耗,并结合任务验证结果评估 harness 改动。
Anthropic 销售团队基于 Claude Managed Agents(beta)搭建购买智能体,每天处理数千场对话,引导客户从咨询到完成购买。转化的销售机会是旧表单的两倍多,成交快约五天,需人工介入的对话占比下降约一半。文章介绍了部署位置、三种会话结局,以及给目标而非规则、少即是多、引入领域专家等构建经验。
CoreWeave 在 Fully Connected 大会宣布 NVIDIA Vera Rubin NVL72 系统搭配 Spectrum-X 102.4T 以太网正式可用,Cognition 成为首家跑生产负载的客户,其 SWE-2 推理总 token 吞吐较 GB200 NVL72 最高提升 4.8x。
Torch Spyre 基于 PyTorch 跨仓库 CI Relay(CRCR)达到 L2 集成,用智能体流水线从代码与执行证据中筛选并重新分桶测试,再用声明式 YAML 框架适配上游测试而无需打补丁。
vLLM 官方博客发布分离式推理实用指南,讲解 vLLM v0.30.0 及以上版本中 prefill/decode 分离、无 GPU render 前端及两者组合的原理与运行方法。
推荐理由:作者来自参与开发的 IBM Research,给出 P/D 与 render 拆分的收益数据、适用场景表和可复用运行方法。