Mixture-of-Kittens:面向 NVL72 的开源 MoE 兆内核
Cursor 开源 Mixture-of-Kittens(MoK),一个为 GB300 NVL72 从零设计的 MoE 训练兆内核,将所有通信与计算融合进单一确定性内核。
Cursor 开源 Mixture-of-Kittens(MoK),一个为 GB300 NVL72 从零设计的 MoE 训练兆内核,将所有通信与计算融合进单一确定性内核。
NVIDIA 在 FMS 大会上宣布开源 cuFile API 及底层存储软件栈,让 GPU 可直接读写存储,访问延迟降至微秒级。其 Vera CPU 在两级压缩与加密流水线中吞吐量比 x86 CPU 最高提升 3.21 倍,并联合 40 多家厂商推出 Storage-Next 计划。
推荐理由:cuFile 开源让 GPU 直存访问成为可跨平台协作的开放标准,这会改变 AI 基础设施团队评估存储架构的方式,不再只绑定单一厂商的实现。
Meta 通过内核、精度、并行、网络与内存的协同设计,将广告推荐基础模型 GEM 的端到端训练效率翻倍至 20–25% MFU,并在 12 个月内将训练 FLOPs 扩展 4 倍。
Replit 认为企业 AI 落地的瓶颈不是数据访问,而是治理公司认可的“真相”,语义层是 AI 原生公司治理的第一步。其做法是把数据含义与纠错建成系统记录,形成版本可控、人工审核、与模型无关的语料,让每次纠错惠及后续所有智能体。Replit 称这一方向与 Anthropic、OpenAI、Meta 的数据智能体思路一致,差异在于强调可审计与治理。
insitro 创始人兼 CEO Daphne Koller 撰文指出,AI 虽能加速分子设计,但药物研发的真正瓶颈在于疾病机制理解——超过 90% 进入临床试验的药物因靶点错误而失败。行业每年推进的新靶点数量已从约 100 个降至约 30 个。她认为,AI 需先用于正确测量生物学并从中获取新洞察,而非直接寻找疗法。
Databricks 宣布 Variant 正式全面可用(GA),用于更快速、高效地摄取 JSON、XML、CSV 等半结构化数据。该功能旨在简化传统上复杂的数据导入流程,提升处理效率。
Ai2 撰文介绍 Stony Brook University 的 Tuhin Chakrabarty 团队如何用 infini-gram 引擎追溯 AI 生成文本中特有短语的来源,背景是获奖短篇被指 AI 写作的 GrantaGate 事件。
机器人操作需根据任务、物体和交互环境调整动作执行方式。MoMo 提出两阶段模仿学习框架,包含时空动作分词器和行为克隆 Transformer,将任务与连续运动模式条件作为输入。在六项真实机器人操作任务中,改变该条件可稳定生成不同执行风格的动作。
Apple研究团队展示了UMAP内部kNN图在数据理解中的潜力,该图在原始高维空间编码数据流形。将PageRank、k-core分解和聚类系数等图算法应用于该图,可识别代表性数据点、揭示密集核心与稀疏边缘。在MNIST和Fashion MNIST上的评估表明,这些方法与k-medoids、HDBSCAN等专用方法具有竞争力或互补性。
Amazon 提出 ControlG 框架,将图自监督学习(graph SSL)的多目标协调重构为时间分配问题:不再每步混合所有目标的梯度,而是每次只训练一个目标,由工业控制中的 PID 控制器决定下一个该关注哪个目标。
Microsoft Research 推出 Echoverse,为 computer-use agent 构建了 12 个合成训练世界(10 个深度领域世界和 2 个能力世界),9B 模型训练后在全部环境上平均分从 36.5% 升至 67.1%,与 GPT-5.4(80.7%)相差 14 个点。
推荐理由:原文给出深度世界对比浅层世界的实验数据和可复用的环境构建方法,并开源了四个世界,读者可据此评估训练环境的做法。
Miles 团队在 Blackwell 架构上实现了两种原生低精度强化学习方案:端到端 MXFP8 和 MoE 专家权重的逐 token NVFP4。在 8x B200 上对 Qwen3-30B-A3B 的消融实验中,BF16 与所有五种低精度配置的原始奖励曲线高度重合,且 MXFP8 和 NVFP4 减少了推理时间。
推荐理由:虽然只针对Blackwell,但这份报告把MXFP8和NVFP4在RL里的实现细节讲清楚了,从量化合约到每token缩放都给了可复现配置,做大规模RL训练的能直接上手。
Fireworks 基于 Qwen3.5-9B 的 SFT 对照实验提出,FullFT 优于 LoRA 时应先依次检验数据覆盖、学习率等训练配方和 adapter rank,而非直接归因于 adapter 容量。
李飞飞与 World Labs 于 7 月 21 日宣布收购机器人仿真公司 SceniX,并发布其 R2S2R(真实-仿真-真实)引擎。该引擎将真实任务转化为可控仿真环境,使机器人无需真实训练数据即可学会复杂操作,并通过仿真预测策略在现实中的成败。R2S2R 旨在以可扩展的仿真数据闭环,突破机器人规模化部署中数据采集昂贵、硬件迭代缓慢的瓶颈。
LangChain 利用 Hex、dbt、语义模型和可观测性工具构建了一个可信数据智能体,将自服务分析规模提升了 40 倍。该方案通过语义层统一指标定义,结合 Agent 框架实现自然语言查询,并借助可观测性监控查询质量与数据血缘。这一 Agent-First 数据栈为团队提供了从数据准备到自助分析的端到端可信路径。
Databricks 提出 AI 素养框架,定义了个体理解并有效使用 AI 工具的能力。该框架涵盖基础概念理解、工具实操、伦理评估与协作实践四大维度,并配套提供评估工具与培训指南。企业可据此设计内部 AI 培训计划,提升团队在 LLM、RAG 等关键技术上的应用水平。
Cerebras 发布 MoE 调试指南,基于 modded-nanogpt 的 124M GPT-2 基线手把手训练 4 专家 MoE 模型。
推荐理由:原文给出了完整的 MoE 路由调试过程和一行修复方法,读者可以照着复现并迁移这套假设驱动的调试思路。
BAIR提出ABBEL框架,将长程交互中的摘要生成隔离为自然语言信念状态,并通过信念评分进行监督。在CollabBench协作编程测试中,基于重建的信念评分将全上下文模型的性能差距缩小约50%,训练步数减少50%。该方法解决了递归摘要(如Cursor Composer 2.5采用的压缩技术)在有限训练数据下性能下降的问题。
Fireworks 宣布 Kimi K3 可在其 Serverless Training 上进行 Multi-LoRA 训练与托管,处于私测阶段。K3 是约 2.8T 总参数的 MoE 模型;约 20 步、860K 训练 token 的强化学习运行全部花费约 $65,30 到 60 分钟完成,重复上下文按标准 prefill 费率的 20% 计费。
Databricks 发布了一份金融 AI 应用实用指南,系统梳理了机器学习与自然语言处理在风控、欺诈检测、算法交易及合规报告中的具体落地场景。指南强调利用 Lakehouse 架构统一数据与 AI 工作流,并给出了模型部署、特征存储及实时推理的工程实践建议。该指南面向数据科学家与金融工程师,旨在降低 AI 在金融领域的实施门槛。
IBM 联合 Hugging Face、慕尼黑工业大学等推出社区项目 EveryEvalEver,建立统一的 JSON 评测报告格式和托管在 Hugging Face 的众包数据库,已收录来自 31 种评测格式、覆盖 2200 个基准的 22000 多个模型结果。
Google 发布 Tunix,一个基于 JAX 的原生后训练库,旨在消除多轮、使用工具的 LLM 推理智能体训练中的 TPU 闲置瓶颈。Tunix 通过高并发异步 rollout 与解耦的生产者-消费者流水线最大化硬件吞吐量,确保训练器持续获得数据。该库提供即插即用抽象和持续宏观级性能分析,便于集成自定义环境。
推荐理由:Google 这个训练库直接解决 agent 训练中 TPU 空转的隐性成本,对做后训练的团队可能是基础设施级改进,值得跟进。
Apple 研究人员提出一种无需可执行环境即可生成高质量训练数据的方法,用于训练 API 调用型大语言模型(LLM)智能体。该方法仅需 API 规格说明,利用 LLM 作为数字世界模型,通过教师智能体与 LLM 模拟器交互生成轨迹,并由 LLM 裁判过滤。在 AppWorld 和 OfficeBench 基准上,微调模型使用该合成数据取得了显著的性能提升。
Apple 推出 LVSum,一个含细粒度时间对齐的人工标注长视频摘要基准,包含 13 个领域的 72 个视频(平均时长 16 分钟),每个视频配有最多 10 条含时间引用的人类摘要。评估显示,转录文本对摘要质量的贡献远大于视觉帧,当前多模态大模型在时间定位、指令遵循和跨模态一致性上存在系统性缺陷,与人类摘要仍有显著差距。
Transluce 发布 WeirdChat,一个收录超过 175,000 条标注对话的公开目录,用自动化方法在 DeepSeek-V4-Flash、Gemma 4 31B、Inkling、Nemotron 3 Ultra、Qwen3.6-35B-A3B 和 Qwen3.6-27B 六个开源权重模型中诱发出 1,300 多种行为模式,从编造用户姓名到鼓励自残等危害行为。
推荐理由:原文给出了自动化诱发方法和可复现数据集入口,研究者可以据此系统研究模型异常行为的触发与成因。
百时美施贵宝(BMS)部署其第二个NVIDIA DGX SuperPOD,基于八套DGX Vera Rubin NVL72系统构建,每瓦性能较现有基础设施提升10倍。该平台向所有科学家开放,包含NVIDIA BioNeMo Agent Toolkit,用于药物发现全流程的预测、模型训练和智能体工作流。
LMSYS 在 Miles 训练框架中实现了 On-Policy Distillation(OPD),支持纯蒸馏和 RL 增强蒸馏。新引入的稀疏逐位置评分工作流将教师响应载荷从 O(R²K) 降至 O(RK)。
OpenAI 训练了自动化红队模型 GPT-Red,用于在部署前发现漏洞并在训练中生成攻击以提升模型鲁棒性。GPT-Red 能攻破此前几乎所有模型,其攻击被用于对抗训练 GPT-5.6 Sol,使该模型在直接提示注入基准测试中的失败率降至四个月前最佳生产模型的 1/6。GPT-Red 通过自对弈强化学习训练,投入了 OpenAI 后训练中前所未有的计算规模。
推荐理由:OpenAI 用自博弈训练出的红队模型 GPT-Red,把直接提示注入攻击成功率压到了 0.05%,而且没有降低模型能力。做 AI 安全的人应该好好读一下他们怎么实现这个飞轮的。
Anthropic 启动新一轮 AI for Science 项目,聚焦罕见遗传病研究。入选者将获得最高 5 万美元的 Claude API 积分,项目分基础科学和早期生物技术两个轨道。Anthropic 认为 AI 能帮助建模罕见病、跨文献综合发现、从有限数据中提取信息,并已与 Monarch Initiative 合作,利用 Claude 分析病例报告和变异数据库以发现疾病机制相似性。
Google Research 在 ICLR 2026 发表的论文证明,扩散模型的创造力并非偶然,而是神经网络训练中“分数平滑”的数学结果。正则化使神经网络学习到训练数据分数函数的平滑近似,导致去噪过程在训练数据点之间插值,从而生成新颖样本。实验表明,即使不显式使用权重衰减,梯度下降算法的隐式正则化也能产生分数平滑效应。
Baseten Base Labs 论文追踪写入 Qwen3 权重的虚构事实在后续 20 到 100 次写入后的存留情况。
Cognition 用 FrontierCode 1.1 上的 3000 次评测对比 Fable 5 与 Opus 4.8,发现尽管 Fable 5 每 token 单价是 Opus 的 2 倍,在 Fusion 侧搭子架构下 Fable + Sidekick 每次运行成本 $1.86、得分 60.7,低于 Opus + Sidekick 的 $2.04 与 54.6。
推荐理由:原文用 3000 次评测拆解了每轮成本去向,说明逐 token 单价为何不能预测智能体实际账单,方法对评估编码智能体成本有可迁移性。
Google Research 发布 SensorFM,一个在超过 100 万亿分钟多模态传感器数据上预训练的大规模基础模型,数据来自 500 万同意参与者,涵盖 100 多个国家及 20 余款 Fitbit 和 Pixel Watch 设备。SensorFM 学习通用的人体生理表征,可迁移至心血管、代谢、睡眠、心理健康及生活方式等 35 项健康预测任务,支持标签高效适配与数据填充,并可作为个人健康智能体的基础工具。该模型旨在解决传统可穿戴健康模型针对单一终点、难以泛化的问题。
推荐理由:SensorFM 在 500 万人、万亿分钟传感器数据上训练出一个通用生理基础模型,35 项任务全面领先,自动调参的代理教室也很有想法,做健康 AI 的人值得细读。
Apple机器学习研究团队提出训练无关诊断框架,以每个token、每个问题、每个教师的分辨率分析on-policy蒸馏。通过可扩展targeted-rollout算法估计理想梯度,并计算蒸馏梯度与理想梯度的余弦相似度(梯度对齐分数)。实验发现,蒸馏指导在错误rollouts上的对齐程度显著高于正确rollouts;最优蒸馏上下文取决于学生模型容量和目标任务,无通用配置。这些发现推动每任务、每token的诊断分析。
多模态大语言模型(MLLM)在第一人称视频理解中缺乏时序感知,常依赖空间捷径。为此,研究者提出 Temporal Global Policy Optimization(TGPO),一种基于可验证奖励的强化学习算法。TGPO 通过对比模型在时序有序与打乱帧上的输出,生成全局归一化奖励信号,明确奖励时序连贯推理。TGPO 可集成 GRPO 和 GSPO,支持冷启动 RL 训练,抑制 MLLM 的空间捷径行为。在五个第一人称视频基准上,TGPO 一致提升时序定位与因果连贯性,优于此前基于 RL 的视频推理方法。
Amazon Science 发布 Rust 编写的开源代理 Turnstile,它位于智能体 harness 与推理后端之间,在生成时刻精确记录 token ID、对数概率、loss mask 及权重版本边界,导出框架无关的训练轨迹。
Anthropic与AE Studio联合提出梯度路由辅助模块(GRAM)方法,通过在Transformer每层添加可移除的神经元模块,使模型在训练时将病毒学、网络安全、核物理、专业编程语言等双重用途知识仅路由到对应模块,而非扩散至全局。训练后删除模块即可消除该能力,保留则供可信部署使用。实验在合成数据、真实数据及50M到5B参数模型上测试,GRAM效果与数据过滤相当,移除模块不降低通用性能,且比事后“遗忘”技术更难恢复。该研究为平衡双重用途知识的安全访问与有益使用提供了更鲁棒的方案。
推荐理由:这是Anthropic在模型安全对齐上的一个新尝试,提出可拆卸模块来精细控制有毒知识,同时保留一般性能。方法还未上Claude,但实验结果表明这条路可能比简单的拒绝训练更鲁棒。
LangChain 通过挖掘智能体运行轨迹(traces)来定位失败模式,并利用这些数据微调评估模型(judge models),其成本低于前沿大语言模型。该方法结合评估(evals)进行性能爬山(hill-climb),以系统化方式提升智能体表现。
AI推理成本急剧下降。GPT-4级能力从2023年初每百万token约30美元降至今天不到1美元,部分供应商已低于0.10美元。推理价格每年下降9至900倍,中位数约50倍。知识工作级智能即将近乎免费。这给数据系统带来三重变革:面向智能体的数据系统需支持智能体推测式探索——单个
推荐理由:当推理成本趋近免费,数据系统将经历从服务人到服务智能体的根本变革,这篇文章把'为智能体设计系统、用智能体运行系统、让智能体构建系统'三大挑战梳理得很清晰,做数据和 agent 基础设施的人应该读。
AE Studio 与 Anthropic 合作提出 Gradient-Routed Auxiliary Modules(GRAM),通过在 Transformer 每层 MLP 中加入辅助模块,将双用途知识(病毒学、网络安全、核物理、专用代码)隔离到可开关的模块中,删除模块即可移除对应能力。