Databricks Runtime 推出 NEAREST BY join 以扩展批量向量搜索
Databricks 在 Databricks Runtime 中推出 NEAREST BY join 语法,把批量向量搜索实现为引擎原生的 top-k 排名 join,而非调用外部实时端点。
Databricks 在 Databricks Runtime 中推出 NEAREST BY join 语法,把批量向量搜索实现为引擎原生的 top-k 排名 join,而非调用外部实时端点。
NVIDIA 在 Megatron Core 中降低比特级确定性预训练的开销,并以万亿参数 Nemotron 模型为案例验证。该方案提供独立可复现与比特级断点续训两项保证,通过逐步指纹比对训练损失、梯度范数等指标定位首个不一致步骤,并借助从迭代到 kernel 的渐进式追踪排查分歧来源。
Together AI 发布 Together Link,把团队已用的编码智能体工具连接到 Together AI 上的开源模型,宣称可节省超过 50% 支出。
推荐理由:原文给出支持的工具清单、Auto 路由机制和每会话费用对比方式,读者可评估它能否直接嵌入现有编码智能体工作流。
PyTorch 加速器集成工作组公布 2026 H1 进展,推出跨仓库 CI 中继(CRCR)机制,可在 pytorch/pytorch 的 PR 提交后并行触发下游仓库 CI 并回传状态至 hud.pytorch.org/crcr。
映众(INNO3D)推出 GPU 服务器 AGS-6220V2,采用 6U 机架设计,支持 2 颗第五代英特尔至强 "Emeralds Rapid SP" 处理器,整机提供 8 条 PCIe Gen5 ×16 插槽、2 个 25GbE 网口和 12 个前置硬盘位。
华擎宣布其 5L 级紧凑型台式机 DeskSlim X600(AMD)/ B760(英特尔)正式支持 NVIDIA RTX PRO 4000 Blackwell SFF Edition 与 RTX PRO 2000 Blackwell 专业显卡。
OpenRouter 发文比较 OpenAI、Anthropic、Google 与 OpenRouter 四家的服务端代码执行工具,介绍各自沙箱的语言、网络、持久化与计费差异,并推出处于 beta 的 openrouter:shell 与 openrouter:bash 工具,可在 Responses 和 Messages API 上为任意模型运行命令。
TypeSafe AI 的首个模型 Jev 在 Modal 上于发布后三天内处理超 1 万亿 token,并在 OpenRouter 1K-10K token 上下文榜单登顶,承接 15.1% 的请求。Jev 并非大语言模型,而是非自回归的 System One Model,以状态和问题为输入,并行输出带概率的结构化类型值,训练采用自研的 RLCD 方法。
Reddit 用户用第三方工具 mVolt+ Extreme 将技嘉 GeForce RTX 5070 Ti 的 GDDR7 显存偏移量设为 +5500MHz,显存速率从 28 Gbps 升至 39 Gbps,带宽由 896 GB/s 提升至 1248 GB/s(约 39%)。
Simon Willison 撰文呼吁按用量付费的服务和 API 默认提供硬性预算上限,超过每月 $X 即切断服务并返回错误,而不是只发警告邮件。理由是编码智能体降低了部署付费代码的门槛,用户可能睡一觉醒来收到数千美元的意外账单。
卡普空在“卡普空公开大会 RE:2026”上公布 REX 计划,将分阶段升级现有 RE 引擎而非从零开发,使其适配 AI 时代。该计划以“全球最为通用的编程语言”为基础统一改造引擎,便于开发者使用和 AI 解读,AI 后续可理解并编写新程序、开展游戏试玩测试及排查程序漏洞。REX 将从引擎运行效率、性能、配套工具、质量检测等方面入手,解决 3A 游戏体量庞大、开发耗时等难题。
Cloudflare 宣布 Artifacts 进入 open beta,并举办比赛邀请开发者用 Workers 和 Artifacts 构建面向智能体时代的 Git 平台,要求至少支持多个智能体并发工作,截止 2026 年 10 月 14 日,第一名可获 25,000 美元 Cloudflare credits。
IBM 的智能体软件开发平台 Bob 正式推出自托管部署选项,可在本地、私有云、主权云和气隙网络中运行,面向企业客户 GA。
Prime Intellect 推出推理服务平台 Prime Inference,为开源前沿模型提供 serverless 端点和预留容量,上线前内部日处理近 1 万亿 token,主要来自 RL rollout、合成数据生成、评测和编码智能体。
Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。
推荐理由:作者亲测用智能体生成定制推理引擎,给出了相对 vLLM 的具体性能数据和成本,可帮助读者评估自动优化的实际可行性。
Prime Intellect 发布 Prime Inference,提供 serverless 端点与预留容量,在多数据中心 GPU 基础设施上服务前沿开源模型,内部每天处理近一万亿 token。
推荐理由:作者以自家生产数据说明 disaggregation、NVFP4 KV 压缩等优化路径,工程细节对做推理服务的人有可参考之处。
vLLM 将 PyTorch 原生内核 DSL Helion 集成进线性后端,用单一 GEMM 实现覆盖 Standard GEMM、Split-K、Swap-AB 等变体,并按 shape 自动调优选择最优配置。
Baseten 的 Model API 在 Artificial Analysis 上跑出 200+ TPS、约 200ms TTFT,成为该榜单上最快的 GLM-5 服务。
Factory 推出重新设计的 Analytics,可按模型和用户查看 credits 消耗、模型占比与成本集中度,并展示日活、月活用户和会话数。Factory Router 自动为每个请求选择高效模型,生产环境总成本较前沿模型费率降低 63%,同时保持前沿级评测表现。
Airbnb CTO Ahmad Al-Dahle 接受 Latent Space 采访,介绍把 Airbnb 改造为 AI 原生公司的进展。目前 60% 的代码由 AI 编写,功能和改进发布量同比增长近 80%,人均工程师 PR 吞吐量提升约 1.6 倍。
Excited to announce Volantis's $88M Series A. We are solving Al's memory bottleneck by using optics, enabling chips with huge amounts of fast & cheap memory. By boosting both the memory bandwidth and capacity per chip by orders of magnitude, we enable ultra-fast inference (up to 10,000 tps/user) for large models (>10T) - with low $/tok to boot. Initially, this will enable insanely fast agents - think coding agents that finish in minutes or even seconds instead of hours. More excitingly, optics is a fundamentally scalable way to increase memory systems. Not 2X/year, but by orders of magnitude across new generations. This will enable a structurally new Al industry, including restarting scaling laws, holding entire repos in context windows & more. Our team has pioneered many core semiconductor technologies: the 1st CoWoS product, early HBM, the 1st silicon photonics CPO systems, the 1st high volume tunable VCSELs, the 1st processors to directly communicate using light & more. We’ve already sent data >10× farther than equally tiny electrical wires inside a chip package. Our next iteration is already taped out and targets world-record bandwidth density over relevant distances, read more: https://volantissemi.ai/news-insights/our-88m-series-a-demolishing-the-memory-wall-with-photonics-post
Databricks 发布基于 Lakebase 和 AI Search 的电商实时推荐参考架构,源自服务亚洲某时尚电商平台的真实实现,该平台月活超 100 万、SKU 超 10 万。系统每秒摄入约 1000 条事件,通过 Zerobus Ingest 写入 Unity Catalog Delta 表,并采用预计算批量推荐与实时会话感知两条服务路径。
Excited to announce Volantis's $88M Series A. We are solving Al's memory bottleneck by using optics, enabling chips with huge amounts of fast & cheap memory. By boosting both the memory bandwidth and capacity per chip by orders of magnitude, we enable ultra-fast inference (up to 10,000 tps/user) for large models (>10T) - with low $/tok to boot. Initially, this will enable insanely fast agents - think coding agents that finish in minutes or even seconds instead of hours. More excitingly, optics is a fundamentally scalable way to increase memory systems. Not 2X/year, but by orders of magnitude across new generations. This will enable a structurally new Al industry, including restarting scaling laws, holding entire repos in context windows & more. Our team has pioneered many core semiconductor technologies: the 1st CoWoS product, early HBM, the 1st silicon photonics CPO systems, the 1st high volume tunable VCSELs, the 1st processors to directly communicate using light & more. We’ve already sent data >10× farther than equally tiny electrical wires inside a chip package. Our next iteration is already taped out and targets world-record bandwidth density over relevant distances, read more: https://volantissemi.ai/news-insights/our-88m-series-a-demolishing-the-memory-wall-with-photonics-post
教程实测 Google Research 的 JAX 训练库 Kauldron 1.4.2,验证其研究速度与模块化两个卖点。konfig 把实验配置变成可 JSON 序列化的纯字典树并用 cfg.ref 引用避免值冻结,kontext 用字符串 key path 接线组件使损失与模型互不导入,ktyping 在运行时按命名轴检查形状并在报错时给出轴绑定信息。
OpenRouter 发布教程,讲解客服机器人如何用 cheap-first 路由把常规 FAQ 交给便宜模型、仅在必要时升级到更强模型。
PyTorch 团队发布用 TLX(Triton 低层扩展)在 NVIDIA Blackwell B200 上优化 Jagged Flash Attention(Meta 生成式广告模型 GEM 的 attention kernel)的博客。
Cerebras 用解耦(disaggregation)技术在同数量系统上把推理吞吐提升 5 倍,且不损失 token 生成速度。其异构解耦方案把推理中受内存或算力约束的不同阶段分配到不同芯片上,从而获得超越同构解耦的收益。这是该系列文章的第一篇,从加速器的算力与内存带宽、算术强度讲起,解释 prefill 与 decode 阶段对硬件的不同需求。
Modal 在其首届 Runtime 大会上发布多项产品更新。VM Sandboxes 为 Agent 提供完整 Linux 环境,已在 Linear、Legora。
推荐理由:Modal 在 Runtime 大会上发布多项基础设施更新,可帮助读者了解面向 Agent 和大规模推理训练的部署能力变化。
Modal 宣布 VM Sandboxes 正式 GA,只需设置 runtime="vm" 即可获得支持 Docker、FUSE 和内核功能的完整 Linux VM,沿用原有 Sandbox 的 API、modal.Image、亚秒级冷启动和内存爆发能力,早期客户已启动超过 2000 万个 VM。
推荐理由:Modal 官方说明 VM Sandbox 的能力边界、切换方式和 Linear 等早期客户的实际用法,对需要给 Agent 配完整机器的开发者有直接参考价值。
Databricks 为 Lakebase Postgres 推出基于分支的恢复机制,将恢复时间从数小时降至秒级,即使数据库规模达 100 TB。该架构将计算与存储解耦,数据库历史已存于对象存储中可直接引用,恢复只需在指定时间戳创建分支这一元数据操作,无需拷贝数据或重放 WAL。
AlloyDB for PostgreSQL 通过模型端点管理接入 TypeSafe AI 的 Jev 模型,可在数据库内直接执行布尔判断与多分类等语义评估,无需预先准备嵌入向量。Jev 面向毫秒级结构化输出优化,配合 ai.if 和 ai.analyze_sentiment 等原生函数,在 3 万条商品数据的电商数据集上实现高吞吐语义查询。
Every 发布开源模型实用指南,讲解如何评估需求、选择模型与托管方式,将开放模型用于编码、创意和日常自动化等工作。指南指出当下最强开源模型多来自中国实验室,并强调按任务难度区分模型选择,同时附上一个用于审计现有 AI 用法、筛选可迁移到廉价模型任务的提示词。全文为付费订阅内容。
Ai2 发布 Olmo-core 3,这是支持大规模混合专家(MoE)训练的开源框架,已验证可扩展至万亿参数级别。在 8 张 NVIDIA B300 GPU 上,47B 参数 MoE 吞吐达 52,000 tokens/秒/GPU,约为旧 FSDP 实现的 2.7 倍;专家池从 8 扩至 128 而训练吞吐下降不足 5%。
NVIDIA 提出 AI 工厂投资回报取决于产出能力、使用寿命与需求三项因素,其平台通过全栈协同设计实现每兆瓦吞吐最大化。SemiAnalysis AgentX 数据显示,Vera Rubin NVL72 每兆瓦吞吐量比 GB300 NVL72 高 30 倍以上,在 DeepSeek V4 Pro 上每百万 token 成本低至 45 倍。
OpenAI 与 Synopsys 签署多年期战略合作协议,共同开发芯片设计专用模型 GPT-Synopsys,将 OpenAI 前沿模型与 Synopsys 的 EDA 工具和芯片设计专长结合。
开发者 countervolts 的 GitHub 项目 d4r 通过 ZLUDA 兼容层,让 AMD RDNA 4 架构的 RX 9070 XT、RX 9060 XT 等显卡运行 NVIDIA DLSS 4 与 DLSS 4.5 超分辨率,0.1.3 版本已发布。
日本最大电力公司 JERA 与 Dell、主权 AI 基础设施开发商 RHAELM 签署谅解备忘录,将共同制定日本 AI 基础设施建设标准化框架,首个数据中心落地千叶县。