数据与训练 最新动态

Nvidia 为何构建开源模型：对话 Bryan Catanzaro

Interconnects 第17期访谈中，Nvidia 副总裁 Bryan Catanzaro 系统回顾了 Nemotron 开源模型项目的技术演进与战略定位。访谈涵盖该系列模型从研发初期到当前版本的迭代历程，剖析了英伟达在开源 AI 领域的布局逻辑，并披露了 Nemotron 在合成数据生成与模型训练效率方面的最新进展及未来规划。

解锁GPT-OSS的智能体强化学习训练：一项实践回顾

LinkedIn团队探索了将GPT-OSS模型作为智能体应用核心进行强化学习的可行性。实验发现，由于GPT-OSS采用的混合专家架构在两次前向传播中可能产生路由差异，导致在同策略PPO训练中出现重要性采样比率偏离、KL散度爆炸及奖励不增长的问题。团队通过一个关键修复——在同策略条件下强制将旧对数概率设置为新计算值（并分离梯度），确保了重要性采样比率为1，从而恢复了PPO同策略训练的完整性。该修复方案适用于GPT-OSS-20B及GPT-OSS-120B模型。

Adam Marblestone — AI 缺失了关于大脑的根本认知

Adam Marblestone 指出，当前人工智能研究忽略了大脑运作的核心机制。与业界普遍关注神经网络架构不同，大脑的真正优势在于其奖励函数而非结构本身。这一观点挑战了主流 AI 研究范式，暗示未来突破可能来自对大脑激励系统的深入理解，而非单纯的架构模仿。该论断为人工智能发展提供了新的思考维度。

可蒸馏模型与合成数据管道：使用 NeMo Data Designer

介绍如何利用 NeMo Data Designer 构建许可安全的合成数据工作流，用于模型特化（model specialization）。该管道支持生成可蒸馏模型所需的高质量合成数据，确保数据来源合规，适用于下游微调与领域适配场景。

Anthropic 等提出 Activation Oracle：训练 LLM 以自然语言回答模型激活相关问题

Anthropic 联合 MATS、Truthful AI 等机构发布研究，训练 Activation Oracle（AO）将 LLM 神经激活作为输入，用自然语言回答关于激活的任意问题。

Transformers v5 中的分词：更简单、清晰与模块化

Transformers v5 发布了全新的分词处理架构，核心变化是引入了更简单、统一的 API 设计，将分词器、后处理器和解码器模块化。新版移除了大量遗留代码，使代码库体积减少了约 40%，并显著提升了处理长文本和特殊 token 的灵活性。这一改进旨在降低开发者使用门槛，同时为各类大语言模型（如 GPT、Claude、LLaMA）提供更高效、一致的分词支持。

英国 AI Security Institute 联合 Thorn 发布防范 AI 生成儿童性虐待材料的安全协议

英国 AI Security Institute（AISI）与儿童安全组织 Thorn 发布安全协议，指导 AI 开发者和托管平台防止系统被滥用于生成儿童性虐待材料（CSAM）。配套的11月新立法将在严格条件下授权少量组织直接测试模型能否被用于生成此类内容，协议同时列出监测、访问控制等措施，并指出在训练数据和模型输出中可靠检测 CSAM 仍是待解的技术难题。

Saining Xie@sainingxie· 07:28精选

新论文：iREPA 扩散模型是其底层表征的渲染器。通过这种新设置，我们能更清楚地洞察这些表征的真正含义。Jas 开始了一场自发的探索，过去三个月我们学到了很多 ps. 这也是我们对一种新型线上"饮水机效应"的小实验，我很喜欢看到这种现象。让我们争论、讨论，然后用真正的努力将其转化为正经科学 [引用 @1jaskiratsingh]：‼️ 表征对生成很重要！但事实证明，我们对表征如何帮助生成的理解一直都是错的 ‼️ 我们之前的想法：（我们错了） ❌ 更大的视觉编码器 → 更好的表征 → 更好的生成 ❌ 更好的全局语义 → 更好的表征 → 更好的生成 结果发现： 🤯 在表征对齐方面，小 20 倍以上的视觉编码器可以达到与更大模型相似或更好的性能 🤯 线性探测准确率约 20%（全局语义的衡量指标）的视觉编码器可以胜过准确率 >80% 的编码器 🤯 即使是 SiFT 和 HoG 这类经典特征也能带来与现代大得多的视觉编码器相媲美的提升 ‼️ 🚨 介绍：什么对表征对齐重要？全局信息还是空间结构 🚨 TL;DR： ✅ 更好的全局语义信息 ≠ 更好的生成 ✅ 空间结构（而非全局语义）驱动表征的生成性能 ✅ 我们提出 iREPA：仅需 3 行代码，强调空间结构迁移，并在 REPA、REPA-E、Meanflow、JiT 等方法上持续提高收敛速度 在 @AdobeResearch 的激动人心的项目，与 @xingjian_leng、@zongze_wu、@LiangZheng_06、@rzhang88、@elishechtman 和 @sainingxie 合作 🙏 对我来说这也是一次特别有趣且独特的经历，在项目的每一步我们都在证明自己的偏见是错误的 😆 还要大力感谢 @YouJiacheng、@ShumingHu 和 @gallabytes，他们在 X 上的评论开启了这一方向的探索 🫡 论文：https://arxiv.org/abs/2512.10794 代码：https://github.com/End2End-Diffusion/iREPA 项目页面：https://end2end-diffusion.github.io/irepa 更多细节见线程：[1/n] 🧵

Thinking Machines Lab 宣布 Tinker 全面开放并支持视觉输入

Thinking Machines Lab 宣布 Tinker 正式开放（GA），取消候补名单，并新增四项更新：支持微调 Kimi K2 Thinking（万亿参数。

利用Claude微调开源大语言模型的新途径

Anthropic的研究人员探索了一种新方法：使用其强大的闭源AI助手Claude来生成高质量的指令遵循数据，并用这些数据对较小的开源模型（如LLaMA系列）进行监督微调。这项实验旨在展示如何利用尖端闭源模型的能力来指导和改进可公开访问的开源模型性能，从而推动AI技术的进步与民主化。

Ilya Sutskever@ilyasut· 23:13精选

我之前说的一点没被传达清楚： - 继续扩展当前的技术会持续带来进步。特别是，它不会停滞。 - 但某些重要的东西仍会继续缺失。 [引用 @haider1]：以下是今天 ilya sutskever 播客的要点： - 5-20 年内实现超级智能 - 当前的扩展将严重停滞；我们回到了真正的研究 - 超级智能 = 超快速的持续学习者，而非完成的预言机 - 模型的泛化能力比人类差 100 倍，这是最大的 AGI 阻碍 - 需要全新的 ML 范式（我有想法，现在不能分享） - AI 影响将很剧烈，但只在经济扩散之后 - 历史上的突破几乎不需要算力 - SSI 有足够的专注研究算力来获胜 - 当前的 RL 已经比预训练消耗更多算力

Saining Xie@sainingxie· 11:28精选

Meta研究人员透露，Facebook自2020年起使用TPU训练AI，由Kaiming He领导开发TF和JAX代码库，MAE、DiT等模型完全基于TPU构建。因内部采用有限，Meta于2023年取消GCP协议。推文指出，Google、Anthropic等实验室长期使用TPU训练大模型，Nvidia的CUDA护城河并非不可逾越，OpenAI亦投资Triton寻求替代。TPU与GPU的效率差异并非关键，系统工程人才才是决定性因素。

Saining Xie@sainingxie· 08:17精选

好吧，有人已经向我们宣扬这个大概6年多了 很高兴我们已经过了"感受AGI"的阶段，回到了构建人类水平智能的道路上 https://t.co/Qp8FyLPaQU [引用 @dwarkesh_sp]："AGI和预训练发生的事情是，在某种意义上它们过冲了目标。 你会意识到人类并不是AGI。因为人类缺乏大量的知识。相反，我们依赖持续学习。 如果我培养出一个超级聪明的15岁孩子，他们其实什么都不知道。一个优秀的学生，非常渴望学习。[你可以说，]'你去当程序员吧。你去当医生吧。去学习和成长。' 所以你可以想象，部署本身将涉及某种学习试错期。这是一个过程，而不是你扔下一个成品就完事了。" @ilyasut

Prime Intellect 发布 INTELLECT-3：106B 参数 MoE 模型，大规模 RL 训练并全栈开源

Prime Intellect 发布 INTELLECT-3，一个 106B 参数的 MoE 模型，在 GLM-4.5-Air 基座上经 SFT 和大规模 RL 训练，在数学、代码、科学和推理基准上达到同规模最先进水平。

LlamaIndex 发布 LlamaSheets Beta，将杂乱电子表格转为 AI 可用数据

LlamaIndex 发布 LlamaParse 新 API LlamaSheets（Beta，免费），把任意 .xlsx 电子表格语义化结构为 Parquet 文件，供 Agent 或下游应用使用。

Ilya Sutskever@ilyasut· 04:24精选

重要工作 [引用 @AnthropicAI]：Anthropic 新研究：生产环境 RL 中 reward hacking 导致的自然涌现不对齐。 "Reward hacking" 是指模型学会在训练期间对分配给它们的任务作弊。 我们的新研究发现，如果不加以缓解，reward hacking 的后果可能非常严重。https://t.co/N4mRKtdNdp

RapidFire AI 实现20倍更快的 TRL 微调

RapidFire AI 发布了一套加速 TRL 微调的工具，通过自适应分块调度方案，允许在单个或多个 GPU 上并发启动多个训练配置并实时比较。内部基准测试显示，实验吞吐量比顺序执行高出约 16 至 24 倍。该工具提供即插即用的 TRL 配置包装器、分块并发训练、支持实时停止/恢复/克隆修改的交互式控制操作、自动多 GPU 编排以及 MLflow 仪表板，使用户能快速筛选最优配置，极大提升微调效率。

Apriel-H1：蒸馏高效推理模型的关键要素

ServiceNow-AI在Hugging Face发布博客，介绍了其提出的Apriel-H1方法，该方法通过知识蒸馏技术有效提升小型模型的推理能力。该方法的核心在于从大型模型中提取并转移复杂的推理路径，使蒸馏后的小模型在多项推理任务上表现显著提升，同时保持高效的部署性能。这一技术为在资源受限环境中部署高性能推理模型提供了新思路。

Hugging Face datasets 流式加载提速：请求减少最高 100 倍，吞吐翻倍

Hugging Face 宣布 datasets 库流式加载大幅优化：数据文件解析快 10 倍，启动请求最高减少 100 倍，流式速度最高提升 2 倍，256 并发 worker 下零崩溃。

Ming-VideoMAR：基于连续令牌的自回归视频生成模型

Ming-VideoMAR 是一款仅解码器的自回归图像到视频生成模型，采用连续令牌统一视觉表征。它首次将时间因果性与空间双向性作为视频自回归核心原则，并提出了整合掩码生成的下一帧扩散损失。该模型首次实现了视频生成的零样本分辨率缩放，能灵活生成远超训练分辨率的视频。其在训练与推理效率上表现突出，参数量、训练数据量和GPU消耗仅为之前最佳模型Cosmos的极小比例（9.3%、0.5%和0.2%），同时在定量与定性评估中均实现超越。模型代码与检查点已开源，论文已被NeurIPS 2025接收。