Frore 发布 LiquidJet Diamond:冷板集成金刚石均热板,GPU 热点再降 10℃
Frore Systems 推出 LiquidJet Diamond,在 LiquidJet 3D 冷板基础上增加一层集成金刚石晶圆的均热板,可精准覆盖热点位置。该产品宣称可冷却功率密度达 770 W/cm² 的极限热点,相比 LiquidJet 额外实现 10℃ 的 GPU 热点温度降低和 10% 的词元能效提升。
Frore Systems 推出 LiquidJet Diamond,在 LiquidJet 3D 冷板基础上增加一层集成金刚石晶圆的均热板,可精准覆盖热点位置。该产品宣称可冷却功率密度达 770 W/cm² 的极限热点,相比 LiquidJet 额外实现 10℃ 的 GPU 热点温度降低和 10% 的词元能效提升。
Databricks 为 Lakebase Postgres 引入 LTAP 架构,将批量数据加载从主计算节点卸载到 Spark 分布式引擎,内部基准测试显示加载 1 TB 数据现在只需不到 5 分钟。
ComfyUI 博客作者用智能体搜集各类优化,把 MiniMax H3 实时视频生成压缩到单张 RTX 5090(32 GB 显存)上运行,生成 30 秒视频耗时 23.51 秒,达 1.28 倍实时吞吐。
推荐理由:原文给出单张 RTX 5090 实现实时直播视频生成的完整优化清单和开源节点,读者可复现这套压成本思路。
NVIDIA Dynamo 引入统一的会话级标识符 session_id,把请求级推理服务升级为程序感知系统,覆盖会话感知路由、共享 KV 索引与程序化缓存迁移,兼容 vLLM 和 SGLang。
Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联,并部署到生产推理栈。
推荐理由:原文给出监控级联的完整数据、成本和部署细节,读者可以据此评估实时监控开放模型智能体的可行做法。
Opus5.5越来越好用了,做产品周更短片也好用。所有素材都是直出不需要接额外服务的。 这周GoodCase新上269个AI爆款案例和提示语,外加7个新 Skill。现在一共覆盖了1699 个案例、95 个 Skill、426 位创作者。 只玩AI视频的可以直接看awesome-seedance,现在加到了795条案例,367次提示语复测,27个提示语模板,还有77个能直接装的视频Skill👇
Zyphra Research 提出利用 MoE 路由的层内与跨层相关性来优化专家放置,从而降低 all-to-all 通信开销。实验显示,在 8 台 MI300x 节点集群上,EP8 升至 EP32 时 all-to-all 占训练步时间比例从 13% 升至 45%(top-2 路由),top-6 路由下则从 24% 升至 60%。
百度智能云对象存储BOS的层级Namespace系统Mantle入选2026中国算力大会“算力中国·年度重大突破成果”。论文评测显示,与Tectonic、InfiniFS和LocoFS相比,Mantle元数据访问延迟降低6.6%至99.1%,交互式Spark分析作业完成时间缩短63.3%至93.3%,AI音频预处理任务缩短38.5%至47.7%。Mantle已在BOS生产环境大规模上线运行三年。
IBM 通过 torch-spyre 将 Spyre 接入 PyTorch 的 device、allocator、stream 与编译器抽象,使其成为原生 PyTorch 设备。
Databricks 与 Replit 的集成已正式可用并原生支持 Lakebase,企业团队可用 Replit Agent 基于 Databricks 实时数据构建受治理的应用,并部署为 Databricks App。
O'Reilly Radar 文章提出 AI 系统存在"保存缺口":运行时依赖(模型端点、检索数据、策略、工具契约等)在执行时才确定,现有基础设施只保存模型、代码、部署和观测记录,不保存某次执行的实际绑定关系。作者为此提出参考架构 Orrery,用于保存重建 AI 系统历史执行所需的运行时绑定与依赖状态,并区分了"可复现性"与"可重建性"两个概念。
Architect Financial Technologies 发布 Liquid Inference,一个对每次请求进行实时拍卖的 LLM 推理市场,价格最低且满足买家规则的报价胜出,首 token 生成前锁定最高价。
假期第四天,继续学习阿里的「AI Native 研发范式实践手册」 今天看到「Agent 运行环境」中的 Sandbox 部分,介绍了阿里开源的 OpenSandbox,顺手搜了一下各云服务厂商开源的 Sandbox,如果你的 Agent 需要可以具体选择使用。 只搜索筛选了部分开源 Sandbox,如果大家有其他选择欢迎评论补充 🤝 1. 腾讯云 CubeSandbox https://github.com/TencentCloud/CubeSandbox 国内生产级自建优先,基于 KVM MicroVM,具备控制面、集群调度、网络与凭据策略、快照能力,并兼容 E2B SDK 2. 阿里 OpenSandbox https://github.com/opensandbox-group/OpenSandbox 功能覆盖面较完整,支持 Docker/Kubernetes、多语言 SDK、MCP、浏览器和桌面等 agent 执行环境能力 3. 字节跳动 AIO Sandbox https://github.com/agent-infra/sandbox 快速搭建 browser、Shell、文件系统、VS Code、Jupyter 与 MCP 一体化 agent 工作环境,主要采用 Docker 容器形态 4. 字节跳动 SandboxFusion https://github.com/bytedance/sandboxfusion 适合 LLM 代码执行、Online Judge、代码评测和强化学习数据集运行,支持多语言及部分 GPU 运行时 5. AWS Firecracker https://github.com/firecracker-microvm/firecracker 适合自建高隔离、多租户 agent 执行平台的 MicroVM 底座,需自行建设调度、文件服务、快照管理和 agent SDK 等上层能力 6. Google gVisor https://github.com/google/gvisor Google 开源的容器安全 Sandbox 运行时,通过用户态 application kernel 与 `runsc` 为 Docker/Kubernetes 工作负载提供更强隔离;适合已有容器平台、希望以较低启动和资源成本承载不可信 agent 代码的场景
Unsloth 发布 Unsloth Studio 与 Unsloth Desktop 安全概览,说明其在下载到执行之间设置四道检查点:代码指纹绑定审批、独立权重文件闸门、探测式 OS 沙箱与包内容扫描。
Databricks 在 Data & AI Platform 上推出主动式成本管理方案,通过成本归因、预算、告警、仪表盘和优化五大支柱,让团队在花钱前就设好护栏。
Databricks 发布指南,介绍如何通过更换 dbt-databricks 适配器和连接配置,将现有 dbt 转换项目重新指向 Databricks Lakehouse,无需重写 DAG 或业务逻辑。
Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成优化,低并发速度提升 1.9 倍,150 TPS 约束下吞吐提升 5.3 倍。
推荐理由:vLLM 团队拆解了 SWA bounded replay 和一系列内核优化,说明五倍吞吐提升具体来自哪里,方法可复用于其他 Agent 服务场景。
Pragmatic Engineer 播客发布与 Sam Newman 的访谈,其新书 Building Resilient Distributed Systems 印刷版于 10 月 7 日上市。Newman 将分布式计算八大谬误归结为三条规则,并讨论幂等键与指纹两种幂等方案、弹性四概念,以及 AI 时代的多供应商对冲、模块化架构和避免对 AI 的认知投降。
It's crazy that I can run MiMo 2.6 Flash across my RTX 6000 GPU and my M5 laptop at 40 tokens/sec over 10 GbE 🤯 These are the native mxfp4 weights of a state-of-the-art model, on heterogeneous hardware. Supported out of the box in llama.cpp.
有些东西只能在太空中测试——比如硬件如何经受太阳活动、宇宙射线,或辐射引发的位翻转错误——所以我们正把首批 TPU 送入轨道。
NVIDIA cuOpt 推出多 GPU 的 mPDLP 求解器,通过 NVLink 连接的 GPU 分布式求解线性规划问题,求解速度比一年前快近 10x,单 GPU 峰值内存占用最多降低 6x(LP 问题上限 2.1B 非零元)。该求解器已在 Kinaxis 的供应链生产规划和 PSR 的大规模能源系统容量扩展模型中得到应用。
Meta 开源 Rebalancer,一个带 Python 接口的 C++ 分配问题求解库,已在 Meta 内部用于资源分配超过 9 年。
教程实测 Convai Innovations 开源决策引擎 Laya 0.3.27,一个 4.21 亿参数的非自回归 System 1 模型,单次前向返回类型化问题的概率且零输出 token。
Google 宣布 Cloud Run 用户可零成本认领易记的全球可用子域名(如 my-cool-app.cloud.run),无需配置负载均衡器、DNS 记录或 CNAME。Cloud Run 会自动处理 SSL/TLS 证书和全球路由,一条命令即可把代码部署为可分享的应用。
PyTorch 博客详解了用于推荐系统 Table Batched Embedding(TBE)前向与反向的 FBTriton 内核设计,其 Triton 实现在这些负载上超过了原有 CUDA 内核。
林肯实验室超级计算中心(LLSC)的 Lincoln AI Computing Survey(LAICS)系列调查已从首篇覆盖 57 款 AI 加速器扩展到最新一篇的 120 多款,持续对比各款商用加速器的峰值性能与峰值功耗。
GitHub 宣布重建 Git 基础设施,以支持智能体规模开发带来的高并发读写负载。2026 年 8 月 GitHub 月度 Git 事件量达 473.3 billion(一年翻倍以上),9 月智能体和开发者产生 7.38 billion commits(超一年前五倍),pushes 同比增长 4.9 倍。
推荐理由:GitHub 工程方亲述面向智能体规模开发重建 Git 基础设施的动因与设计原则,含内部基准写吞吐最高 35 倍等一手数据。
Overmind turns anyone into an AI lab. • Builds a context graph from code and traces • Curates training and eval datasets • Evaluates prompts and models • Trains smaller, specialized models https://github.com/overmind-core/overmind
Together AI 正与 IBM、NVIDIA 合作扩展企业级 AI 推理,首批在 IBM Cloud 上部署大规模 NVIDIA B300 GPU 集群,并采用 NVIDIA Spectrum-X 以太网组网,这是 IBM Cloud 上首个此类专用大规模推理集群,Together AI 也是首个客户。
Simon Willison 用 Codex 摸索出如何运行 Parseable 并接收来自 Datasette 的 OpenTelemetry traces。
Your AI is vaporware without deep integrations with your customers’ systems of record. Introducing @WithAmpersand: integration infrastructure for enterprise agents. We power 11x, Orb, and Square's ability to take agentic action in systems of record like Salesforce, SAP, NetSuite, and Workday. Ask anyone serious about building AI and they’ll tell you: - The SaaSpocalypse didn’t happen. The world depends on CRMs, ERPs, HRISs, and ITSMs. - Your customers customized their deployments beyond recognition. - Systems of record companies are basically monopolies. They never had to make their APIs and MCPs user-friendly. - Docs don't explain half the weird edge cases you'll hit. - One bad write can blow up your pilot or renewal. - Once you finally get it working, someone changes a field and it breaks again. The world's data lives in structured databases. AI needs a translation layer to work with it. So, for your AI to truly transform the way enterprises work, you'll need deep integrations built for: - scoped permissions - bi-directional actions - real-time speed for agents - custom objects, fields, and workflows for each of your customers We built Ampersand to power the future of software. AI didn't trivialize writing integrations. It made them the critical path. I believe that deeply, so I didn't make a launch video about Ampersand. Instead, it's the best builders I know explaining just how big of a challenge this is.
NVIDIA 发布 AI Cluster Runtime(AICR)v1.0,为其 CLI、REST API、Go SDK、bundle 布局和 artifact schema 建立稳定兼容契约。
openTPU 是一个开源 AI 加速器项目,将 auto-arch-tournament 的经验用于 AI 加速器设计,探索 AI 智能体在硬件设计上能走多远。
IFCO 数据平台团队与 Databricks Forward Deployed Engineering 合作,将核心语义层作业的每日运行时间缩短超过 60%,并停用了昂贵的夜间全量刷新。改造后转换逻辑仍留在 dbt 中,运行在 Databricks 上,通过 Liquid clustering、merge 增量策略和行哈希校验等配置,让每次运行只触碰实际变更的数据。
Valve 明确表示 Steam for Linux 目前不支持基于 Arm 的硬件,此前一名 AYN Odin 3 掌机用户在高通骁龙设备上运行原生 ARM64 版 Steam 客户端并提交错误报告,官方关闭报告后作出上述回应。Valve 现行 Linux 版 Steam 运行环境要求必须搭配 x86_64 架构内核及处理器,ARM64 版 Steam 虽已存在但仅面向 Steam Frame。
开发者 Niko1221 开源 Strata 推理引擎,可在 12GB 及以上显存的消费级显卡上运行量化的 125B 参数 Qwen3.8-Flash-Next 模型。
Cerebras 发文解析大规模 MoE 模型在真实硬件上的扩展难题:GPU 上需依赖专家并行(EP)等多种并行策略,专家负载不均会拖累硬件利用率,且通信开销随专家数量增加而恶化。Cerebras WSE 凭借约为最新单 GPU 900 倍的片上 SRAM 和 weight streaming 技术,无需分布式计算即可在单台设备上训练万亿参数 MoE 模型。
教程展示在不本地下载 707 GB 数据集的情况下,围绕 NVIDIA Cosmos3-DROID 构建端到端流式机器人学习管线。