#数据/训练

DeepSeek、Qwen、Mixtral、Llama 4、gpt-oss 等 MoE 模型路由机制对比

一项对比梳理了 10 款开放 MoE 模型的路由配置：专家数从 Mixtral 的 8 个到 Kimi K2 与 DeepSeek-V4-Pro 的 384 个，top-k 从 Llama 4 Maverick 的 1 到 8。

Rohan Paul@rohanpaul_ai· 08:39AI 评分4848

Salesforce 新论文发现，从大型外部教师模型做蒸馏通常比纯 RL 消耗更多算力，而将多个 RL 训练的领域专家模型合并可节省 42% 算力。研究按每单位训练 FLOP 的留出准确率对比蒸馏与 GRPO，覆盖不同任务难度、模型规模和领域；使用外部后训练教师时 GRPO 普遍胜出，蒸馏还常导致回复变长。

Baseten Base Labs 分析 on-policy 自蒸馏（OPSD）的偏差问题

Baseten Base Labs 发文认为 on-policy self-distillation（OPSD）不值得继续投入研究。

Base Labs 研究：on-policy self-distillation 存在偏差，并非持续学习银弹

Base Labs 在 11 月 6 日的研究更新中指出，on-policy self-distillation（OPSD）虽在部分场景仍有用，但不值得继续投入研究。作者认为，OPSD 的教师模型已知道答案，无需检查、回溯或保留余地，这种稠密损失主要带来偏差，且可能只保留旧知识而学不到新知识。

Transluce 研究微调效果预测的缩放定律：Qwen3.5 监督模型随规模提升，自预测例外

Transluce 训练不同规模 Qwen3.5 监督模型，根据微调数据集预测 Qwen3.5-2B 被微调后的回答，发现性能随模型与数据规模呈幂律提升。与主体模型同源的监督模型表现优于更大模型，且性能存在非零损失下限。预测性能还可泛化到更难的分布外数据集。

Rohan Paul@rohanpaul_ai· 05:26AI 评分6767

UC Berkeley 与 Transluce 的论文提出自动化发现 DSSE（带意外副作用的训练数据集）的流程，在 8 种目标行为上生成 6,575 个数据集，72% 在全部 5 个其他测试模型（含一个大 8 倍的模型）中同样触发该行为。这类数据集看起来像正常训练数据，人类专家识别的正确率仅 63%，略高于随机的 50%；论文建议训练后用行为评测或 frontier LLM 审计来筛查微调数据。

MIT 团队用 CheMeleon 从稀缺数据预测分子性质

MIT 团队开发的 CheMeleon 通过预训练百万分子、约 1600 个分子描述符，在数据稀缺时预测分子性质优于现有方法，并在 58 个测试案例中排名第一。该开源模型基于 ChemProp，可下载微调；在 OpenADMET 竞赛前 20 名中有 9 个参赛方案使用了它，已有制药公司将其列为建模默认起点。

Rohan Paul@rohanpaul_ai· 06:46AI 评分5858

Johns Hopkins 新论文发现，LLM 训练数据中只出现过一次的事实（monofacts）占比越高，科学发现率越高。

百度发布 ERNIE 5.5 Flash Base：280B 总参、14B 激活的 MoE 基座模型

百度发布 ERNIE 5.5 Flash Base，这是 280B 总参数、每 token 激活 14B 的稀疏 MoE 基座模型，权重止于预训练阶段，已在 Hugging Face 和 ModelScope 提供 FP8 与 BF16 权重。

Rohan Paul@rohanpaul_ai· 04:42AI 评分4545

斯坦福论文指出，没有任何指标能在所有意义上与分词器无关，因此比较不同分词器时不能只信单一分数，还要检查模型是否答对。研究用未训练模型和同一配方不同分词器的已发布模型测试：什么都没学到的模型 BPB 仍随分词器变化，英文文本在约 24K 词表时 BPB 最好，但准确率仍为随机水平。在不同分词器训练的模型上，BPB 与任务分数的相关性仅在 +0.02 到 −0.30 之间。

Rohan Paul@rohanpaul_ai· 10:42AI 评分5151

Stanford 论文《A Circuit for In-Context Learning》（arXiv:2611.05344）发现小语言模型的 few-shot 学习不是从示例学到新规律，而是通过标签查找已有映射，仅在标签重复时触发。

小红书 AllSpark 团队提出 Navalia：让 35B 模型做好复杂办公

小红书 AllSpark 团队提出 Navalia，通过自动构建文档环境、合成证据可追溯且答案可验证的跨文档任务，并结合轨迹采集与长程后训练，形成从数据到训练的完整配方。

小红书 AllSpark 提出 Navalia：让 35B 模型做好财报分析与复杂办公

小红书 AllSpark 团队提出 Navalia，基于 Qwen3.6-35B-A3B 构建财报分析任务环境并做长程后训练，在五项基准上较基座模型提升 13.07–23.06 个百分点。

OpenHands 与 Snowflake 推出基于现有 agent harness 的模型后训练方案

OpenHands 与 Snowflake AI Research 合作，让开发者无需在独立 RL 框架中重建 harness，即可用现有 OpenHands Agent SDK 配置和 Harbor 格式任务对开源权重模型做 RL 后训练，训练由 Snowflake Cortex Training 提供 GPU 支持。

Rohan Paul@rohanpaul_ai· 01:13AI 评分5454

Rohan Paul 转评 Intology 的自动化科研系统 Locus，称其在分子预测任务上胜过 GPT-6 Astra 和 Claude Opus 5.5 智能体。Locus 承担机器学习研究员的工作：提出实验、在 GPU 上并行跑多批实验、保留有效结果并迭代，目前应用于药物和抗体设计；引用内容称其在分子性质预测、微调 Boltz-2 做小分子效力预测以及围绕 BoltzGen、Boltz-2、ESMC、ESMFold2 的抗体设计工作流上均超过 SOTA 基线。

Transluce 自动化批量生成 6915 个带意外副作用的训练数据集 DSSE-1.1

Transluce 发布自动化流水线，按诱导性、自然性和意外性三个目标批量搜索带意外副作用的训练数据集（DSSE），并开源 DSSE-1.1 集合，共 6915 个数据集，覆盖 18 种目标行为（如推荐自残、抵抗关机等）。

MIT CSAIL 提出「权重空间编程」：GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 权重，MATH-500 成绩提升至 6 倍

MIT CSAIL 研究者提出「权重空间编程」，让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的权重，仅改动 131072 个权重（约 0.016%），无梯度下降或传统训练循环。

indigo@indigox· 08:44AI 评分5353

MIT CSAIL 博士生 Rikiya Takehi 团队提出权重空间编程方法，用 GPT-6 Astra 无需训练和梯度直接读写神经网络权重。仅修改 Qwen3.5-0.8B 约 0.016% 的权重，MATH-500 从 7.9 涨到 48.1，GSM8K 从 13.8 涨到 67.1，指令遵循提升 3 倍。

Trajectory 融资 4500 万美元，让非技术专家也能训练 AI 模型

AI 训练初创公司 Trajectory 宣布完成 4500 万美元 A 轮融资，估值 3 亿美元，由 Sequoia 领投，Nvidia、Bessemer Venture Partners 和 Bain Capital Ventures 参投。

Deep Principle 发布 753B 开放权重科学模型 Hydrogen-1.0

Deep Principle 发布基于 GLM-5.3 后训练的开放权重科学模型 Hydrogen-1.0，753B 参数（MoE，约 40B 激活），1M token 上下文，MIT 许可证，权重已在 Hugging Face 和 ModelScope 上线。

Rohan Paul@rohanpaul_ai· 04:22AI 评分5151

伊利诺伊大学团队发现，AI scientist 流程中按整体提案做新颖性检查的现有方法，虽能抓住全部 380 份伪装抄袭，却拒绝了 96% 后来被人类学者发表的想法。论文提出 ClaimNov，将提案拆分为逐条 claim 与既有论文对比后交给评审，抓抄袭率保持 97%，误杀率降至 1.5%。作者建议过滤思路的团队按 claim 单独打分，保留基于已知成果做增量构建的提案。

Rohan Paul@rohanpaul_ai· 23:46AI 评分6464

Google DeepMind 论文用多轮 RL 在模拟病人环境中训练 Gemini 3.1 Flash-Lite，提升其精神科问诊能力。32 名精神科医生扮演病人、15 名盲评转录，训练后模型在 60 组配对案例中 76.7% 胜过同提示的基线模型；256 个对抗案例中急性风险漏升级率从 30.5% 降至 12.9%，但约 1/8 的对抗性危机仍未升级。

Rohan Paul@rohanpaul_ai· 06:16AI 评分4747

卡内基梅隆大学新论文提出，预训练、微调与RL可共享同一训练规则，将三者数据按任意比例混合往往优于分阶段训练。作者把一种名为MaxRL的RL方法重构为对模型自身正确答案的似然训练，从而让单一训练器混合预训练文本、精选数据和RL样本。

OpenBMB@OpenBMB· 22:00AI 评分4242

面壁智能分享社区项目：基于 MiniCPM4-0.5B 的 0.5B 参数模型，通过 LoRA 适配器（在 NVIDIA Nemotron-PII 数据集上训练）加自定义 token 分类头，微调出 PII 识别器并接入 Microsoft Presidio。

谷歌提出“睡眠框架”：让大模型边用边学、不忘旧知识

谷歌研究团队发布“睡眠框架”（Sleep Framework）持续学习研究，将模型运行分为“清醒”与“睡眠”两阶段，睡眠时通过参数扩展、混合专家记忆块和知识蒸馏把短期上下文写入长期参数，并生成合成样本做强化学习练习。实验显示模型可处理最长约 1000 万 token 上下文，在未见语言的多阶段持续学习中保持接近零的性能下降，AIME 24/25 等数学基准准确率更高。

Figma 讲解如何训练专用画布编辑模型

Figma 介绍其为 agent 自研 Figma 编辑模型的训练方法，先用超过 25 万条合成样本做 SFT，让早期 Llama 3.3 70B 在编辑任务上接近当时顶级模型，后转向 RL 并结合确定性校验器与视觉评委做评测。

Rohan Paul@rohanpaul_ai· 02:28AI 评分4545

无脚本通话很难大规模收集。 如今的语音 AI 大多是从 LLM 编写的虚假对话、再由 TTS 朗读出来中学习，所以它从未听过人们互相抢话； 真的很好奇他们是如何让对话持续 10 到 20 分钟的。 他们发布了 Joy，10 万小时的无脚本双人对话，覆盖 10 种语言 x.com/shobhitbanga/status/211…

报道称中国 AI 实验室转向蒸馏 OpenAI GPT-6 Astra，Anthropic 收紧防御

据 The Information 报道，DeepSeek 和月之暗面转而大量利用 OpenAI 最强模型 GPT-6 Astra 的输出训练新模型，涉及 Kimi K3.1 Pro 和 V4.1-Flash 1017，此前 Claude 是主要目标但 Anthropic 收紧了防御。

Rohan Paul@rohanpaul_ai· 12:33AI 评分5252

Apple 论文研究合成训练数据配比对 LLM 工具使用智能体泛化的影响，发现随数据预算增长，扩展应用和数据库多样性比增加任务数带来更大收益。团队构建 SynthAPI 流水线，用 LLM 编写带真实 Python 工具和数据库的合成应用并自动检查任务成败，跨 849 个训练模型改变应用、任务和数据库版本。

Rohan Paul@rohanpaul_ai· 11:32AI 评分5959

据 The Information 报道，中国 AI 实验室已把数据蒸馏目标从 Claude 转向 OpenAI 的 GPT-6 Astra。此前 Anthropic 本月表示，更严格的限制、账号封禁和代理网络封锁使蒸馏者从 Claude 获取的数据减少 90% 到 99%。

Cartesia 发布 From Tokens to Bytes II：用两类 scaling law 解析字节级训练与分词的取舍

Cartesia 发布 From Tokens to Bytes 系列第二篇，通过 compute-to-loss 与 loss-to-loss 两类 scaling law 对比 Byte Transformer、BPE（含/不含 pretokenization）、BLT-like 和 H-Net 等方法。

Cartesia 发布 H-Net 扩缩律研究：字节级层级网络比 BPE 提升最高 3-5x 计算效率

Cartesia 发布系列博客第一篇，报告其层级网络（H-Net）在字节级语言建模上的扩缩律结果：与严格匹配的 BPE Transformer 相比，1-stage H-Net 在验证损失上节省 1.28x 计算，下游评测约 2x，代码任务中位数 2.04x、分布外编程语言中位数达 3.10x（如 Prolog 5.37x）。

英国和欧盟用户如何拒绝 Meta 将其内容用于 AI 训练

404 Media 介绍了英国和欧盟用户拒绝 Meta 将其内容用于 AI 训练的操作方法。Meta 早前更新商业条款允许用业务账号内容训练 AI，生效日期因反弹从 10 月 30 日推迟到 11 月 20 日，并从允许用途中移除了 train 一词。

摩尔线程开源 Megatron-MUSA-Titan，聚焦万卡级集群万亿参数 MoE 模型训练

摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan，基于其全功能 GPU，面向万卡级集群的万亿参数 MoE 模型训练，覆盖预训练与强化学习两大场景。

Google Research 提出 sleep 框架：让 LLM 在持续学习中稳定保留知识

Google Research 提出面向持续学习的 sleep 框架，让 LLM 在活跃交互与离线记忆巩固之间循环，把脆弱的短期上下文固化为长期参数。该框架结合 MoE 参数扩展、GKD 与 RL 模仿学习，可让模型持续习得新事实、保留最长 10M tokens 的长上下文知识并提升复杂推理。

NVIDIA 详解如何用 Nemotron 数据集微调模型掌握本地规则

NVIDIA 发布 Nemotron-Personas-France 与 Nemotron-Personas-Belgium 数据集，用于将 Nemotron 开放模型后训练为贴合当地语言与文化的应用模型。

Mirendil 发布首个模型 Fern 0.1，支持 10M token 上下文

AI 实验室 Mirendil 发布首个编码模型 Fern 0.1，上下文窗口最高 10M token，约 23 MB 代码。其基座 Mirendil-Base 由 1 名研究员在 3.5 个月内完成预训练，总算力成本低于 1000 万美元，超过 99% 代码由 AI 智能体编写，训练数据仅来自公开来源。

Browser Use 团队讲解如何用 LLM 从网站抽取结构化数据

Browser Use 团队介绍一套用 LLM 从网站抽取结构化数据的方法：先写一份 JSON Schema 贯穿所有站点，静态页用 fetch + Markdown + 结构化输出，需登录、点击或 JavaScript 流程的页面才用浏览器 Agent，并对每条记录做 Schema 校验、失败重试或标记，同时保存 source_url。

Brown 学生绘制 AI 背后全球劳动力地图

Brown 大学大四学生 Ma 绘制了一张 AI 劳动力地图，揭示 13 家数据标注公司、141 家企业客户与 31 个国家数据工人站点之间的关联，指向她所称的“AI 殖民主义”。她指出，全球南方（肯尼亚、印尼、哥伦比亚等）的工人需阅读大量 AI 生成的儿童色情、兽交与暴力内容以训练 AI 安全能力。该地图被定位为公众教育工具，Ma 希望未来扩展到半导体行业劳动力。

英国 AISI 实测 ESM-2 预训练数据过滤可削弱目标能力但约 80 美元算力即可恢复

英国 AI Security Institute 的 Chem-Bio 团队从零预训练 8M 到 3B 参数的 ESM-2 蛋白质语言模型，测试预训练数据过滤对专业科学模型的效果。