NVIDIA 将 Run:ai 平台以 Apache 2.0 协议开源,用于 Kubernetes GPU 编排
NVIDIA 将 Run:ai 平台完整开源,源码以 Apache 2.0 协议发布在 GitHub,平台团队可检视、fork 和自托管而无需付费订阅。
NVIDIA 将 Run:ai 平台完整开源,源码以 Apache 2.0 协议发布在 GitHub,平台团队可检视、fork 和自托管而无需付费订阅。
针对依赖第三方订阅前端调用 LLM 的现状,作者主张自建 LLM 代理:在单一端点统一接入多家供应商与模型,并记录哪个 key 在何时调用了哪个模型、状态如何。自建代理还可用虚拟 API key 避免主密钥散落各处,并在基础设施层快速切换模型与供应商。作者称借助代理 API,编码会话中出现缓存未命中时可在 20 秒内手工定位原因。
llm-tools-datasette 发布 0.1.1 版本,修复了 LLM 0.33 改用 httpx2 后该插件因未直接依赖 httpx 而出现的故障。作者称此前切换时忽略了这一影响,该插件是受波及的插件之一,现已修复。
作者用可运行代码实测 NVIDIA Structured Data Models 库,将 TabICLv2、KumoTabular 和 KumoRelational 等预训练模型通过同一 PyTorch 接口做零训练表格预测。
据央视新闻报道,我国首个全国产十万卡 AI 超集群曙光 8000 真机在 2026 全国高性能计算学术大会上亮相,并将发布十大重要应用成果。该系统走超算和智算原生融合路线,同一套算力底座既能跑高精度科学计算,也能跑大模型训练和推理;今年 8 月官宣投用时公布的峰值算力相当于全人类持续计算 200 年,目前支持新材料、创新药、人工智能等 26 个领域 300 多种计算任务。
推荐理由:作者亲测 RTX Spark 上的本地模型部署路径,并把整套流程封装成 WorkBuddy 专家,读者可以照着复现本地 Token 自由的用法。
数字生命卡兹克分享华硕ProArt创16(RTX Spark N1X芯片、128G统一内存、37999元)的一周深度使用体验,该机全球开售时128G版本在京东几分钟内被抢空。
推荐理由:作者用一周实测讲清了如何在128G统一内存的RTX Spark笔记本上部署本地模型,并给出可复用的WorkBuddy专家整合流程。
vLLM 团队介绍如何用 Agent 辅助开发为 Kimi K3 构建统一的 CuTe DSL 解码路径,覆盖 attention、MoE 和 8/16 GPU 通信。
Databricks 宣布 Multi-Statement Transactions 正式可用,支持 UC 托管的 Delta Lake 和 Apache Iceberg 表,让多表多步骤工作流获得原子保证而无需独立数仓。
Replit 推出 Bring Your Own Cloud(BYOC),可将 Replit 平台与已发布项目托管部署进企业自有云租户,支持 Microsoft Azure、Google Cloud 和 Amazon Web Services。
Modal 工程博客介绍其为 VM Sandboxes 打造的 ImageFS-blk 块设备文件系统后端。
工程师出身的 PJ 在佛州 Ocala 经营虫害防治公司期间深度使用 OpenClaw,随后转型为顾问,帮屋顶、泳池、汽车等本地小企业部署 OpenClaw 并培训其自主运行。他的客户不愿把公司数据交给软件、被平台锁定,看重装在办公室电脑里的 OpenClaw 归自己所有。66 岁的行政人员 Donna 每天使用 OpenClaw,称已无法想象没有它的工作。
The Verge 三位编辑用一周时间测试五款搭载 Nvidia RTX Spark N1X 芯片的 Windows on Arm 笔记本,包括 Surface Laptop Ultra、Asus ProArt P16、Lenovo Yoga 9n 和 HP OmniBook Ultra,售价 $2,599.99 至 $6,999.99。
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型,这是一个 501B 参数、每 token 激活 23B 的 MoE 模型,在 NVIDIA Blackwell 上完成优化。
推荐理由:原文给出了 Beam 在 vLLM 上的具体优化数据和部署命令,读者可以直接评估落地配置与吞吐收益。
we open-sourced SPACE, the sandbox platform we use internally for secure agentic runtimes. it powers Computer as well as our RL training and evaluation workloads. https://github.com/perplexityai/SPACE
AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。
推荐理由:原文拆解了 50 多个 PR 背后的缓存、MoE、内核融合与投机解码优化思路,读者可迁移到自己的推理栈排查瓶颈。
苹果研究团队公布 Minions 系统研究,将闲置 Mac 的 Apple Silicon GPU 聚合为可动态调度的“虚拟 GPU 云”,用于大规模机器学习推理。
SGLang 宣布为 NVIDIA Nemotron 3.5 Super VL 提供 Day-0 部署支持。
Congratulations to @StepFun_ai on Step 5 Preview going open weights! RadixArk is proud to help power StepFun's first-party production API with SGLang at scale. Production inference means great token economics under strict latency requirements. SGLang and its cache-aware routing stack now bring that to Step 5 Preview in proven production traffic. Building with Step 5 Preview? Deploy with SGLang today!
Atlassian 基于 OCSF 开放模式在 Databricks 上构建安全湖仓,处理每天 440 亿条事件。结构化数据配合分区与 Z-ORDER 将代表性查询从约 45 秒降至 2–3 秒,提升 95%;启用 Graviton 集群与 Photon 后查询成本和运行时间减少约三分之二。
Databricks AI 研究团队披露其作为 AI Runtime(AIR)首位客户的使用方式:AIR 提供 NVIDIA H100 或 B300 GPU,支持从数十亿到近万亿参数模型的 SFT、离线 RL 与在线 RL 训练。
Thinking Machines Lab 发布 Tinker 上线一周年的复盘,称企业用其定制模型可在特定任务上以更低成本超过前沿大模型:Bridgewater 的 text-to-SQL 模型以 15% 的成本在准确率上超过 Fable 5 和 GPT-5.6 Sol,Glean 的定制搜索智能体速度翻倍且 token 用量减少 25%。
GitHub 用原生功能构建的 GitHub App Evergreen,通过两个工作流自动化组织卫生:每季度审查外部协作者访问权限,未响应即默认撤销;检测并归档长期无人类活动的仓库,且从不删除仓库内容。它由 Go webhook 服务器驱动,状态以 JSON 文件提交到 controller repo,用 git 历史充当审计记录,决策通过仓库内的 checklist issue 完成。
SGLang 团队宣布对 Meta 开源多模态 MoE 模型 Muse Spark Open(816B 参数、约 42B 激活、1M token 上下文)提供 Day-0 推理支持,权重提供 NVFP4 和 BF16 两种格式。
推荐理由:原文给出了多平台推理与 RL 训练支持的完整细节和实测吞吐数据,读者可以据此评估大规模部署该模型的可行路径。
Meta 复盘 2026 世界杯期间的基础设施表现:7 月 19 日决赛(阿根廷对西班牙)WhatsApp 峰值超每秒 3000 万条消息,创平台历史纪录,是 2026 年跨年峰值的 1.23 倍。
私有端点已在 OpenRouter 上线。 添加专用容量和微调模型,可以像调用任何其他模型一样调用它们。它们仅对你的组织可见,并会在需要时自动回退到共享容量。 今日起在企业版方案中提供。
OpenRouter 发布 Private Endpoints,团队可把微调模型、公共模型的专用部署或预留容量注册为私有端点,通过现有 API 和模型 slug 调用,仅组织内可见且不进入公开榜单和搜索。
Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型,使用今天发布的新版 MLX(v0.30.1 起)与 macOS 26.2 的 RDMA over Thunderbolt 驱动。
推荐理由:Apple 给出了在 Mac Studio 集群上跑 816B MoE 模型的并行方案与基准数据,可迁移到本地大模型部署实践。
Honeycomb 联合创始人兼 CTO Charity Majors 在播客中讨论 AI 生成代码加速后如何构建可靠软件,指出可观测性用于回答未知问题、连接变更与结果。
NVIDIA 发布开源多模态模型 Nemotron 3.5 Super VL,vLLM 提供 Day 0 支持。模型基于 120B 总参数、12B 激活的 MoE 架构,结合推理、工具调用与文档、图像、视频理解,采用混合 Mamba-Transformer 架构、多 token 预测和 NVFP4 量化。
FactSet 借助 Databricks AI Runtime 的无服务器 GPU 基础设施,将其 Text-to-Formula(TTF)模型的搭建、训练与部署周期从数天缩短到数小时。该团队每两到三周微调一次基于 Llama 的模型,此前引入微调模型已使端到端延迟降低约 60%。训练流程与 MLflow、Lakehouse 治理环境打通,无需单独维护 GPU 栈。
Anthropic 宣布弃用 Git,改用自研版本控制系统 Scion,将提交、合并、变基和文件历史查询等操作放到服务器端执行。原因是其代码合并量从 5 月日均 2500 次增至 9 月超 3 万次,Git 已无法满足需求;Scion 的 CPU 和内存消耗仅为 Git 的两百分之一,CI 和研究任务代码检出从几分钟缩短到几秒。
Lovable 发布 Deploy on Azure,目前处于 private preview,可让应用及其数据运行在企业自己的 Azure 订阅中,编辑器和 agent 仍留在 Lovable。