Baseten Base Labs 分析 on-policy 自蒸馏（OPSD）的偏差问题
Baseten Base Labs 发文认为 on-policy self-distillation（OPSD）不值得继续投入研究。
#数据/训练
Baseten Base Labs：模型研究AI 评分5454 Baseten 工程博客AI 评分5050 Base Labs 研究：on-policy self-distillation 存在偏差，并非持续学习银弹
Base Labs 在 11 月 6 日的研究更新中指出，on-policy self-distillation（OPSD）虽在部分场景仍有用，但不值得继续投入研究。作者认为，OPSD 的教师模型已知道答案，无需检查、回溯或保留余地，这种稠密损失主要带来偏差，且可能只保留旧知识而学不到新知识。
TransluceAI 评分4545 Transluce 研究微调效果预测的缩放定律：Qwen3.5 监督模型随规模提升，自预测例外
Transluce 训练不同规模 Qwen3.5 监督模型，根据微调数据集预测 Qwen3.5-2B 被微调后的回答，发现性能随模型与数据规模呈幂律提升。与主体模型同源的监督模型表现优于更大模型，且性能存在非零损失下限。预测性能还可泛化到更难的分布外数据集。
MIT NewsAI 评分4545 MIT 团队用 CheMeleon 从稀缺数据预测分子性质
MIT 团队开发的 CheMeleon 通过预训练百万分子、约 1600 个分子描述符，在数据稀缺时预测分子性质优于现有方法，并在 58 个测试案例中排名第一。该开源模型基于 ChemProp，可下载微调；在 OpenADMET 竞赛前 20 名中有 9 个参赛方案使用了它，已有制药公司将其列为建模默认起点。
OpenHands 官方博客精选AI 评分6262 OpenHands 与 Snowflake 推出基于现有 agent harness 的模型后训练方案
OpenHands 与 Snowflake AI Research 合作，让开发者无需在独立 RL 框架中重建 harness，即可用现有 OpenHands Agent SDK 配置和 Harbor 格式任务对开源权重模型做 RL 后训练，训练由 Snowflake Cortex Training 提供 GPU 支持。
推荐理由：原文展示了直接用现有 OpenHands harness 做 RL 后训练的完整流程和实验结果，开发者可据此评估是否把后训练纳入自己的 agent 开发循环。
Transluce精选AI 评分6868 Transluce 自动化批量生成 6915 个带意外副作用的训练数据集 DSSE-1.1
Transluce 发布自动化流水线，按诱导性、自然性和意外性三个目标批量搜索带意外副作用的训练数据集（DSSE），并开源 DSSE-1.1 集合，共 6915 个数据集，覆盖 18 种目标行为（如推荐自残、抵抗关机等）。
推荐理由：原文提出自动化流水线批量生成带意外副作用的训练数据集，把此前仅数十例的现象扩展到近7000个，为研究泛化提供了可测试的素材。
Figma AI / Agent / Make精选AI 评分6060 Figma 讲解如何训练专用画布编辑模型
Figma 介绍其为 agent 自研 Figma 编辑模型的训练方法，先用超过 25 万条合成样本做 SFT，让早期 Llama 3.3 70B 在编辑任务上接近当时顶级模型，后转向 RL 并结合确定性校验器与视觉评委做评测。
推荐理由：原文拆解了 Figma 自研编辑模型从 SFT 到 RL 的训练路径与内部评测维度，可作专业领域后训练的参考方法。
Cartesia 产品与研究AI 评分5151 Cartesia 发布 From Tokens to Bytes II：用两类 scaling law 解析字节级训练与分词的取舍
Cartesia 发布 From Tokens to Bytes 系列第二篇，通过 compute-to-loss 与 loss-to-loss 两类 scaling law 对比 Byte Transformer、BPE（含/不含 pretokenization）、BLT-like 和 H-Net 等方法。
Cartesia 产品与研究精选AI 评分6060 Cartesia 发布 H-Net 扩缩律研究：字节级层级网络比 BPE 提升最高 3-5x 计算效率
Cartesia 发布系列博客第一篇，报告其层级网络（H-Net）在字节级语言建模上的扩缩律结果：与严格匹配的 BPE Transformer 相比，1-stage H-Net 在验证损失上节省 1.28x 计算，下游评测约 2x，代码任务中位数 2.04x、分布外编程语言中位数达 3.10x（如 Prolog 5.37x）。
推荐理由：Cartesia 原创研究给出 H-Net 替代 BPE 分词的对照实验与 3-5x 计算效率数据，可了解字节级学习的实际进展。
Google Research：BlogAI 评分4848 Google Research 提出 sleep 框架：让 LLM 在持续学习中稳定保留知识
Google Research 提出面向持续学习的 sleep 框架，让 LLM 在活跃交互与离线记忆巩固之间循环，把脆弱的短期上下文固化为长期参数。该框架结合 MoE 参数扩展、GKD 与 RL 模仿学习，可让模型持续习得新事实、保留最长 10M tokens 的长上下文知识并提升复杂推理。
NVIDIA Technical Blog：Agentic AI / Generative AIAI 评分4141 NVIDIA 详解如何用 Nemotron 数据集微调模型掌握本地规则
NVIDIA 发布 Nemotron-Personas-France 与 Nemotron-Personas-Belgium 数据集，用于将 Nemotron 开放模型后训练为贴合当地语言与文化的应用模型。
Browser UseAI 评分6565 Browser Use 团队讲解如何用 LLM 从网站抽取结构化数据
Browser Use 团队介绍一套用 LLM 从网站抽取结构化数据的方法：先写一份 JSON Schema 贯穿所有站点，静态页用 fetch + Markdown + 结构化输出，需登录、点击或 JavaScript 流程的页面才用浏览器 Agent，并对每条记录做 Schema 校验、失败重试或标记，同时保存 source_url。
英国 AI Security Institute：Blog精选AI 评分6060 英国 AISI 实测 ESM-2 预训练数据过滤可削弱目标能力但约 80 美元算力即可恢复
英国 AI Security Institute 的 Chem-Bio 团队从零预训练 8M 到 3B 参数的 ESM-2 蛋白质语言模型，测试预训练数据过滤对专业科学模型的效果。
推荐理由：原文给出实验数据说明预训练数据过滤能选择性削弱蛋白模型能力，但约 80 美元算力即可恢复，需配合数据访问控制。
EleutherAI：BlogAI 评分4949 EleutherAI 论文追踪预训练中的潜意识学习：教师偏好可跨模型架构迁移
EleutherAI 的 SOAR 项目论文《Tracing Subliminal Learning Through Pretraining》研究潜意识学习：教师模型的动物偏好可通过蒸馏迁移给学生，且不要求共享初始化、数据顺序、预训练语料、模型规模或架构。
Baseten 工程博客AI 评分4545 Baseten 推出 Environment Network，联合第三方公司为客户定制 RL 环境
Baseten 推出 Environment Network，联合一批经严格审核的 RL 环境公司，为客户基于自有数据和领域定制 RL 环境。合作方直接对接客户构建环境，Baseten 仍负责训练与推理。Baseten 还计划开源一批前沿质量环境及审计、训练方法。
Ai2 / Allen Institute for AIAI 评分4040 Ai2 发布 PLANTEUR：面向热带地区的作物制图基准
Ai2 发布 PLANTEUR，将 PASTIS 基准扩展到留尼汪、瓜德罗普、马提尼克、法属圭亚那、马约特和圣马丁六个热带地区，包含 2,750 条 Sentinel-2、Sentinel-1 与 Landsat-8 时间序列及 4,506 km² 地块标签，覆盖七类作物。
LlamaIndex：产品、工程与评测AI 评分4545 OCRia-1 发布：4B 参数文档解析模型登顶 ParseBench
OCRia-1 是一款 4B 参数的视觉语言模型，在 ParseBench 上取得 87.4 总分，领先第二名 12.1 分，创下 35B 参数以下解析模型的最高分。
Modal 官方工程博客AI 评分5959 Modal 发布 Dojo 训练库，主打百行代码内生产级 LLM 后训练
Modal 推出 Modal Dojo 训练库，提供构建块、调优配方和可观测性面板，用于生产级 LLM 后训练。
Together AI 研究与产品博客AI 评分5959 Together AI 发布 Together Post-Training 定制模型训练服务
Together AI 推出 Together Post-Training 服务，支持用户自定义完整训练循环，通过 RL 环境奖励和 SFT 数据训练专属模型。
Fireworks AIAI 评分5656 Fireworks 开放 Muse Glimmer 30B 免费 SFT 训练，微调版在 Kalshi 预测上超过 Jev 11.2 个百分点
Fireworks 推出 Free Weights Club，Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
Fireworks AIAI 评分4444 Fireworks AI 免费微调 Muse Glimmer 30B，预测准确率超 Jev 11.2 个百分点
Fireworks AI 推出 Free Weights Club，Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
PyTorch：BlogAI 评分4848 PyTorch 为 TorchTitan 引入 Zephon 弹性确定性数据加载
PyTorch 为 TorchTitan 引入 Zephon，一种弹性确定性数据加载方案，在训练任务内即时完成 tokenize、pack、shuffle 和 mix，无需预处理语料副本。
MIT NewsAI 评分5353 MIT 与 Whitehead 研究团队用机器学习模型 IRIS 解码细胞间通信语言
MIT 生物学助理教授 Pulin Li 团队与研究生 Nicholas Hutchins 发现每条信号通路会在细胞中留下跨细胞类型一致的基因活性指纹，据此开发机器学习模型 IRIS，可回溯胚胎细胞在发育各阶段接收的信号，论文于 9 月 8 日发表在 Nature Methods。
Microsoft AI：官方博客精选AI 评分6666 Microsoft AI 公布 MAI-Base-2 预训练细节，2.8T 参数 MoE 模型 FLOPs 效率达 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍
Microsoft AI 宣布完成 MAI-Base-2 预训练，这是一个 800 亿激活、2.8T 总参数的 MoE 基础模型，在 held-out 评测中 BPB 低于所测全部开源权重模型，预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4.2 至 12.3 倍。
推荐理由：官方披露了 MAI-Base-2 的完整预训练方法，读者可以从中了解 scaling ladder、Muon 优化和多轮 dropless MoE 等可借鉴的工程细节。
Prime IntellectAI 评分5959 Prime Intellect 与 NVIDIA 后训练 Nemotron 3.5 Super VL，AutomationBench-AA 提升 23.7 分
Prime Intellect 与 NVIDIA 构建 2,500 个经验证的企业任务，用 GRPO 在 128 块 GB200 GPU 上训练约 11 小时，将 Nemotron 3.5 Super VL 在 AutomationBench-AA 公开分割上的得分从 34.0% 提升到 57.7%，相对提升 70%。
vLLM 官方博客AI 评分4747 vLLM 让 RL 训练更快：训练与推理 logprob 逐位一致，DeepSeek-V4-Flash 与 Nemotron 验证
vLLM 让训练前向直接调用其推理 kernel 并改造这些高性能 kernel，使 rollout 与训练对每个采样 token 产生逐位相同的 logprob（diff = 0）。
Databricks：Blog精选AI 评分6161 Databricks 讲解如何在 AI Runtime 上将 Qwen 3.8 27B 微调时间缩短 6 倍
Databricks 演示通过系统性性能优化，将 Qwen 3.8 27B 在 AI Runtime 上的微调时间从 7 小时 44 分钟降至 1 小时 17 分钟，提速 6 倍。
推荐理由：原文给出从定位瓶颈到融合内核与数据打包的完整优化路径和量化结果，读者可迁移到自己的 LLM 微调任务。
MIT NewsAI 评分4242 MIT 研究：人工神经网络如何自组织出学习机制
MIT McGovern 研究所与 ICoN 中心在 PNAS 发文提出，判断人工神经网络是否具备生物合理性，关键看它能否在没有开发者干预下自组织出学习机制。他们用随机互连的神经元样单元和简单连接规则，构建出能识别模式、分类图像的自组织网络，性能与依赖反向传播的网络相当。研究认为，若大脑确实使用类似的突触基元完成反向传播的功能，将为机器与大脑在基本机制层面建立强关联。
Modal 官方工程博客AI 评分5656 Modal 探索用混合精度、混合加速器采样器做大规模 RL 训练
Modal 工程团队展示在 Qwen3.6-35B-A3B 的 agentic coding RL 训练中，用跨六种加速器（B200、B300、H100、H200。
Meta Engineering BlogAI 评分5454 Meta 发布新一代生成式广告推荐基础模型 GEM，转化率提升 18.9%
Meta 工程团队介绍新一代生成式广告模型 GEM，将原先按 Facebook、Instagram、Reels 等各自独立的预测系统统一为单一中心基础模型，在全部广告表面和目标上带来 18.9% 转化提升和 12% CTR 提升。
Apple Machine Learning ResearchAI 评分4848 Apple 研究：双语预训练混合数据优于超参数搜索，低资源语言预训练新发现
Apple 研究团队在 150M 到 1.43B 四种模型规模、约 1000 次预训练实验中对比发现，混入高资源语言数据比超参数调优更有效，且优势随模型增大而扩大。混合数据带来的提升相当于 2–3 倍目标语言独有数据（验证损失）和 2–13 倍（下游任务准确率）。团队建议优先调整混合比例，并通过 μP 从小代理模型迁移超参数。
LTX Product UpdatesAI 评分5151 LTX Trainer 发布，在 LTX Explore 内一站式训练 LoRA
LTX 发布 LTX Trainer，把 LoRA 训练压缩成 LTX Explore 内的单一引导流程。支持 Character LoRA 和 Style LoRA 两种类型，只需选择类型、命名并设一个触发词，无需配置文件；训练前自动 QC 检查上传素材并默认排除运动模糊、遮挡等劣质片段。素材最低五分钟、无上限，训练后台运行并邮件通知，完成后可在平台内测试 30 天或导出下载。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4444 蚂蚁 inclusionAI 发布 BiDex-100 双臂灵巧操作基准
蚂蚁 inclusionAI 在 GitHub 发布 BiDex-100，一个覆盖 106 个仿真任务的双臂灵巧操作基准，用于评测视觉-语言-动作（VLA）策略。该基准包含 8,080 条成功验证演示、6.25M 帧、58 维统一动作空间，并提供匹配的 ID/OOD 评测协议与 LeRobot v2.1/v3.0 数据集。
Baseten Base Labs：模型研究AI 评分5151 Baseten Base Labs 研究：模型迭代学习的事实并未被删除，而是被同类新事实覆盖
Baseten Base Labs 向 13B 模型 talkie（知识截止 1930 年）顺序写入 2011–2019 年的 20 条体育事实，每条训练一个 LoRA 并合并。
Databricks：BlogAI 评分4848 Flo Health 如何用 Databricks AI Runtime 构建更安全、更实用的开源模型
Flo Health 借助 Databricks AI Runtime 在无服务器 NVIDIA H100 GPU 上对开源模型做分布式微调，用 26 个 AI 评委（12 个医疗安全、6 个微观行为、8 个实用性）和超 15,000 条隐私优先合成问题构建训练信号，并采用监督微调加 DPO 的强化微调流程。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4545 蚂蚁 inclusionAI 开源 TorchTurbo：面向 SuperNode 的后训练训练引擎
蚂蚁 inclusionAI 在 GitHub 开源 TorchTurbo，一个面向 SuperNode 的后训练分布式训练引擎，基于 PyTorch FSDP2 与 Hugging Face Transformers，融合 FSDP、专家并行（EP）和 Ulysses 序列并行（SP）。
Databricks：BlogAI 评分4242 Databricks 推出 Funke：原生 HL7v2 解析
Databricks 发布 Funke，一个 Python 和 PySpark 库加可部署 pipeline，可将 HL7v2 消息直接解析为原生 Spark 类型并保留完整层级结构。它是 2021 年开源的 Scala 数据源 Smolder 的继任者，支持所有 HL7 消息类型和版本，通过 Declarative Pipeline 摄取并存储在 Unity Catalog 中。
Hugging Face 官方团队博客精选AI 评分7272 Hugging Face 工程师用 ML Intern 以约 103 美元自制 7 个小模型
Hugging Face 工程师 yuvraj sharma 用 HuggingChat 的 ML Intern 模式在几天内做出 7 个模型，包括可在 CPU 运行、99.7% 有效输出的 0.8B 提示词重写器，以及将柑橘病害识别准确率从 14.9% 提升到 52.8% 的 Qwen3.5-2B 微调模型等，全部计算成本约 103 美元。
推荐理由：作者总结了预算控制、基线评测和冒烟测试等提示词写法，让 agent 自主完成数据构建、训练与发布，方法可直接迁移复用。
LlamaIndex：产品、工程与评测AI 评分4848 LlamaIndex 详解：为什么 LlamaParse 选择 Markdown 作为文档解析输出格式
LlamaParse 以 Markdown 作为文档解析的默认输出格式，以保留标题层级、阅读顺序和表格结构，并在复杂表格中支持 HTML 表格（colspan、rowspan）与管道表格并存。
LlamaIndex：产品、工程与评测AI 评分4343 2026 年 6 款最佳 OCR 文档管理软件对比：LlamaParse、ABBYY、Textract 等
LlamaIndex 发布 2026 年 6 款最佳 OCR 文档管理软件对比，涵盖 LlamaParse、ABBYY FineReader、Amazon Textract、Google Cloud Vision、Microsoft Azure OCR 和 Hyperscience。