小红书 AllSpark 提出增强上下文学习能力的数据管线,35B 模型追平万亿参数前沿模型
小红书 AllSpark 团队提出一套不依赖人工标注的合成数据训练流程,用 GLM-5.2 对 3515 篇公开文档做深度改写以切断参数记忆,最终生成 9625 条训练样本。
小红书 AllSpark 团队提出一套不依赖人工标注的合成数据训练流程,用 GLM-5.2 对 3515 篇公开文档做深度改写以切断参数记忆,最终生成 9625 条训练样本。
EleutherAI 的 SOAR 项目论文《Tracing Subliminal Learning Through Pretraining》研究潜意识学习:教师模型的动物偏好可通过蒸馏迁移给学生,且不要求共享初始化、数据顺序、预训练语料、模型规模或架构。
SemiAnalysis 工程团队分享了在 Trainium2 和 Trainium3 上使用 TorchTitan 与 TorchNeuron 原生 PyTorch 训练栈的实测体验。
Baseten 推出 Environment Network,联合一批经严格审核的 RL 环境公司,为客户基于自有数据和领域定制 RL 环境。合作方直接对接客户构建环境,Baseten 仍负责训练与推理。Baseten 还计划开源一批前沿质量环境及审计、训练方法。
Meta 宣布将新商业条款的生效时间从 10 月 30 日推迟到 11 月 20 日,此前出版方担忧条款允许 Meta 抓取新闻网站内容用于 AI 训练。News/Media Alliance 致信 Mark Zuckerberg 要求修改条款,欧盟和英国的广告主与出版方也敦促监管机构介入;Meta 表示将利用这段时间说明网络爬虫的使用方式,并强调内容方仍可通过 robots.txt 表达偏好。

We're announcing the public beta of datavendor.ai We spent the last two years building the best solution for people buying and selling data, whether you're a researcher in a lab or a company trying to sell data. Data is the fundamental bottleneck for AI progress, and DataVendor will be the infra that solves it.
Ai2 发布 PLANTEUR,将 PASTIS 基准扩展到留尼汪、瓜德罗普、马提尼克、法属圭亚那、马约特和圣马丁六个热带地区,包含 2,750 条 Sentinel-2、Sentinel-1 与 Landsat-8 时间序列及 4,506 km² 地块标签,覆盖七类作物。
OCRia-1 是一款 4B 参数的视觉语言模型,在 ParseBench 上取得 87.4 总分,领先第二名 12.1 分,创下 35B 参数以下解析模型的最高分。
小红书大模型基建部发布 NeurIPS 2026 论文 Hint Tuning: Less Data Makes Better Reasoners,把推理模型的思维链按反思词切成片段作为 hint 交给同家族 Instruct 模型,测出每道题的最小有效提示,据此构造长度可变的训练数据。
作者 A. Chen 在北京五道口访谈研究者和创业者,梳理机器人数据采集三代技术:遥操作、同构外骨骼(UMI)和自 2026 年起兴起的第一视角采集,NVIDIA EgoScale 项目用超 1000 人拍摄了 20854 小时第一人称视频。
腾讯混元与复旦大学研究团队提出 WorkForge 框架,从真实世界资源出发规模化构建可验证的智能体工作环境,产出 WorkForge-16K 共 16,665 个环境,覆盖 40 个专业领域、60 种文件类型。
Perplexity 与 NVIDIA 团队提出后训练方法 JOLT,让同一个模型同时扮演教师和学生,且教师也参与训练。在 MATH 上,JOLT 以 6.5 倍更少的训练 token 达到 GRPO 的准确率;JOLT+ 在 AppWorld 状态测试通过率达 72.09%,比 GRPO 的 62.20% 高 9.9 个百分点。
Modal 推出 Modal Dojo 训练库,提供构建块、调优配方和可观测性面板,用于生产级 LLM 后训练。
New research: We developed JOLT, a post-training method where one model acts as both teacher and student, with the teacher trained to give feedback the student can use. On MATH, it matched GRPO's accuracy with 6.5x fewer training tokens. perplexity.ai/hub/blog/a-good…
NVIDIA 发布 Kumo Relational,一个预训练的关系型基础模型,通过 Predictive Query Language 直接在企业数据库上做预测,单次前向传播内读取最多 10,000 个历史上下文样本,无需任务训练和特征工程。
小红书 AllSpark Team 提出 ROSS,让模型重新学习训练中自己生成的 rollout,通过筛选有价值轨迹片段并保留完整上下文做选择性监督。基于 Qwen3.6-35B-A3B,该方法在单轮 RL 中把数学均分从 75.19% 提至 76.98%、代码从 42.09% 提至 44.21%,MOPD 均分从 58.40% 提至 62.20%。
Together AI 推出 Together Post-Training 服务,支持用户自定义完整训练循环,通过 RL 环境奖励和 SFT 数据训练专属模型。
Fireworks 推出 Free Weights Club,Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
Fireworks AI 推出 Free Weights Club,Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
AI 实验室 HUMXN 宣布补贴管道、电工、暖通空调等居家服务,居民可免费获得服务,条件是允许佩戴可穿戴采集设备的人员录制技师作业,用于训练 AI 机器人。项目首批落地明尼阿波利斯、芝加哥和迈阿密三座城市,以覆盖不同气候环境,创始人 Thomas Unise 称机器人需要理解专业人员与物理世界交互的方式。
国际联合研究团队在《科学》发表论文,公布可从单个原子层面建模设计蛋白质与核酸的生成式 AI 系统 RFdiffusion3,团队已于 2025 年 12 月 3 日将其开源。
Nathan Lambert 在播客访谈中判断,中国实验室卡住的不是蒸馏,而是算力差距,OpenAI 一个普通研究员可调动的算力约相当于 5000 张 H100。
PyTorch 为 TorchTitan 引入 Zephon,一种弹性确定性数据加载方案,在训练任务内即时完成 tokenize、pack、shuffle 和 mix,无需预处理语料副本。
小红书 AllSpark 团队提出 Skill2Env,一套以 Agent 能力需求为导向的自动化环境合成框架,从已有 Skills 出发构建可执行训练环境。
NVIDIA 联合 IIT Madras 的 AI4Bharat 发布 Nemotron-pretraining-Indic-v1,约 2.8 万亿 token,覆盖印度宪法列出的 22 种语言,含 2601.0 亿原生文字 token 和 224.6 亿罗马化 token(按 Gemma-4 tokenizer 计)。
MIT 生物学助理教授 Pulin Li 团队与研究生 Nicholas Hutchins 发现每条信号通路会在细胞中留下跨细胞类型一致的基因活性指纹,据此开发机器学习模型 IRIS,可回溯胚胎细胞在发育各阶段接收的信号,论文于 9 月 8 日发表在 Nature Methods。

Microsoft AI 宣布完成 MAI-Base-2 预训练,这是一个 800 亿激活、2.8T 总参数的 MoE 基础模型,在 held-out 评测中 BPB 低于所测全部开源权重模型,预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4.2 至 12.3 倍。
推荐理由:官方披露了 MAI-Base-2 的完整预训练方法,读者可以从中了解 scaling ladder、Muon 优化和多轮 dropless MoE 等可借鉴的工程细节。
Prime Intellect 与 NVIDIA 构建 2,500 个经验证的企业任务,用 GRPO 在 128 块 GB200 GPU 上训练约 11 小时,将 Nemotron 3.5 Super VL 在 AutomationBench-AA 公开分割上的得分从 34.0% 提升到 57.7%,相对提升 70%。
ETH Zurich 等机构团队提出 LLM-to-Flow Distillation(LFD),让科学生成模型直接追随自然语言发现目标,如设计具抗癌活性的多肽。
We’re bringing natural-language control to any scientific generator. We are very excited to introduce LLM-to-Flow Distillation (LFD), a method to adapt scientific generators to high-level natural-language discovery goals. Starting from textual goals like “design peptides with promising anticancer activity” or “design small molecules binding to the D2 dopamine receptor”, LFD distills high-level goal-related knowledge from LLMs into scientific generators through iterative DPO on LLM-generated sub-goals. 🔥 LFD does not need task-specific proxy rewards, works with any frontier LLM via API-access, and outperforms state-of-the-art reward-guided methods such as FlowGRPO and DiffusionNFT on held-out computational evaluations. (1/6)
vLLM 让训练前向直接调用其推理 kernel 并改造这些高性能 kernel,使 rollout 与训练对每个采样 token 产生逐位相同的 logprob(diff = 0)。
Databricks 演示通过系统性性能优化,将 Qwen 3.8 27B 在 AI Runtime 上的微调时间从 7 小时 44 分钟降至 1 小时 17 分钟,提速 6 倍。
推荐理由:原文给出从定位瓶颈到融合内核与数据打包的完整优化路径和量化结果,读者可迁移到自己的 LLM 微调任务。
if you sell AI training data, see how you compare: we found 159 companies selling data, RL envs and evals, every fact sourced plus 38 programs that pay companies for their data: whosellsdata.com 8 of the 14 that pay companies directly publish a dollar range. most of the rest set terms per deal. unknowns are marked and nothing is ranked the other page: what each program wants, who qualifies and what it offers: whosellsdata.com/buying missing something, or something wrong? fix it on the site, a person reviews every change we built this at @Secludy. if you buy, broker or license company data and need the names out before it reaches a lab, dm me
小红书 AllSpark 团队联合商业算法提出 Vela 框架,将匿名化真实用户行为历史转化为训练任务,基于约 10 万匿名化样本主体构建约 7.5 万条训练样本。
MIT McGovern 研究所与 ICoN 中心在 PNAS 发文提出,判断人工神经网络是否具备生物合理性,关键看它能否在没有开发者干预下自组织出学习机制。他们用随机互连的神经元样单元和简单连接规则,构建出能识别模式、分类图像的自组织网络,性能与依赖反向传播的网络相当。研究认为,若大脑确实使用类似的突触基元完成反向传播的功能,将为机器与大脑在基本机制层面建立强关联。
Modal 工程团队展示在 Qwen3.6-35B-A3B 的 agentic coding RL 训练中,用跨六种加速器(B200、B300、H100、H200。
Meta 工程团队介绍新一代生成式广告模型 GEM,将原先按 Facebook、Instagram、Reels 等各自独立的预测系统统一为单一中心基础模型,在全部广告表面和目标上带来 18.9% 转化提升和 12% CTR 提升。
Apple 研究团队在 150M 到 1.43B 四种模型规模、约 1000 次预训练实验中对比发现,混入高资源语言数据比超参数调优更有效,且优势随模型增大而扩大。混合数据带来的提升相当于 2–3 倍目标语言独有数据(验证损失)和 2–13 倍(下游任务准确率)。团队建议优先调整混合比例,并通过 μP 从小代理模型迁移超参数。
LTX 发布 LTX Trainer,把 LoRA 训练压缩成 LTX Explore 内的单一引导流程。支持 Character LoRA 和 Style LoRA 两种类型,只需选择类型、命名并设一个触发词,无需配置文件;训练前自动 QC 检查上传素材并默认排除运动模糊、遮挡等劣质片段。素材最低五分钟、无上限,训练后台运行并邮件通知,完成后可在平台内测试 30 天或导出下载。
蚂蚁 inclusionAI 在 GitHub 发布 BiDex-100,一个覆盖 106 个仿真任务的双臂灵巧操作基准,用于评测视觉-语言-动作(VLA)策略。该基准包含 8,080 条成功验证演示、6.25M 帧、58 维统一动作空间,并提供匹配的 ID/OOD 评测协议与 LeRobot v2.1/v3.0 数据集。