UMAP 0.6 is out! A new initialization, new optimizers and faster nearest neighbour search make UMAP much faster and far better at large scale. On 3 million arXiv papers it finishes in under 5 minutes, before UMAP 0.5 has even found its nearest neighbours.
#数据/训练
Ian Johnson 🔬🤖@enjalotAI 评分5050引用Leland McInnes@leland_mcinnesApple Machine Learning ResearchAI 评分4242 研究揭示门控机制如何导致 SSM 先记忆后上下文学习
研究者通过理论与实验发现,现代循环网络中的门控机制会让 SSM 先学到权重内的“记忆”解法,延迟甚至阻止其收敛到正确的上下文学习解法,即使架构与记忆容量并无根本限制。门控同时有助于提升对长序列长度的泛化能力。该结果揭示了门控在 SSM 训练动态与泛化中的关键作用。
Google DeepMind:BlogAI 评分5757 Google DeepMind 发布 AlphaGenome 2,预测基因变异对特定细胞类型的影响
Google DeepMind 发布下一代 DNA 序列模型 AlphaGenome 2,可预测 DNA 变异如何影响数百种人类细胞类型中的基因表达。模型改为条件式架构,训练数据超过 1.07 亿个单细胞样本、覆盖 68 种组织,在 TenK10K 数据集上识别的因果变异数量接近上一代的两倍(30% vs 16%),并能在不重新训练的情况下泛化到新的单细胞实验。
The Decoder:AI NewsAI 评分7070 ChinaTalk 调查称美国数据经纪商向中国 AI 实验室出售约 5 亿美元 RL 训练环境
The Decoder 转述 ChinaTalk 的一项调查称,Mercor、Surge AI、AfterQuery、Turing 等至少九家美国数据公司正向中国 AI 实验室出售约 5 亿美元的 RL 训练环境等数据。
ChinaTalkAI 评分6262 ChinaTalk 调查美国数据公司向中国 AI 实验室出售 RL 环境的现象
ChinaTalk 作者调查称 Mercor、Surge AI、Turing、AfterQuery 等至少九家美国数据公司向阿里、腾讯、字节跳动等中国实验室出售价值约 5 亿美元的 RL 环境等数据,帮助其 post-training 提升编码、办公等领域能力。
公众号:卡尔的AI沃茨AI 评分5454 实测深度原理 Hydrogen-1.0:对比 GPT-6Astra 的科研模型使用体验
作者实测深度原理的科研模型 Hydrogen-1.0,该模型以 GLM5.3 为底座,用化学、材料、生命科学知识和科学发现轨迹做 SFT 与 RL 再训练。在 FrontierScience Research 上解题率 38.3%,高于 GPT-6Astra 最高档的 33.3% 且成本更低。
Anthropic:Alignment Science Blog精选AI 评分6969 Anthropic 研究:稀释投毒微调数据反而会强化其后门效应
Anthropic 与 Truthful AI 等机构提出“顺势学习”现象:单独作用很小的投毒数据,在混入同类型干净对比数据后会形成隐藏后门。
推荐理由:研究指出单独看无害的训练数据与干净数据混合后可能形成后门,提示仅靠孤立审计数据的安全方法存在盲区。
Baseten 工程博客AI 评分5959 Baseten 与 Genspark 后训练 Qwen3.5-397B 打造超越 Opus 5.5 的 Deep Research 模型
Baseten Applied Research 与 Genspark 将 Qwen3.5-397B 后训练为专用 Deep Research 模型,在 Genspark 质量评分上从基座的 0.612 提升至 0.759。
Amazon ScienceAI 评分5151 Amazon 发布表格基础模型 Mitra-v2 并开源
Amazon 发布第二代表格基础模型 Mitra-v2,支持分类与回归,分类和微调版本及代码以 Apache-2.0 许可开源于 Hugging Face。
Recode China AIAI 评分5959 乌兰察布如何从农业小城变成 AI 算力重镇并吸引年轻人
Recode China AI 翻译整理了人民日报一篇第一人称报道,由在乌兰察布从事数据中心运维五年的员工张立伟(化名)讲述这座城市如何借助凉爽气候、低廉电价和"东数西算"政策从农业城市转型为 AI 算力枢纽。
Ars Technica:AIAI 评分5050 乌克兰光纤无人机因 AI 数据中心需求挤压面临成本上涨
乌克兰光纤无人机所用的光纤主要从中国进口,因与 AI 数据中心争夺有限的全球供应,成本正在上升,乌克兰无人机制造商被迫调整应对。光纤无人机不受电子战干扰,由俄军在 2024 年库尔斯克州抵御乌军越境行动时率先部署,乌方随后跟进。成品线轴通常支持无人机在数十英里范围内作业,极端情况下可达 62 英里(100 公里)。
Latent SpaceAI 评分5959 Latent Space 对谈 Handshake AI:解读前沿实验室都在买什么数据
Latent Space 与 Handshake AI 团队做了一期深度对谈,其 AI 训练业务约一年内从启动做到 10 亿美元年化毛收入,节目探讨前沿实验室在买什么数据以及哪些评测上模型仍远不及人类。
Latent SpaceAI 评分5757 Latent Space 深访 Handshake AI 团队谈前沿实验室买什么训练数据
Latent Space 与 Handshake AI 团队做深度访谈,探讨前沿实验室在购买什么训练数据。
Hugging Face 社区博客AI 评分4545 Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan 合成金融人物数据集
Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan,这是开源人物数据集 Nemotron-Personas-Japan 的金融领域扩展,据称是首个百万记录级、结合日本官方统计与家庭金融数据的开放人物数据集。
MarkTechPostAI 评分4040 DeepSeek、Qwen、Mixtral、Llama 4、gpt-oss 等 MoE 模型路由机制对比
一项对比梳理了 10 款开放 MoE 模型的路由配置:专家数从 Mixtral 的 8 个到 Kimi K2 与 DeepSeek-V4-Pro 的 384 个,top-k 从 Llama 4 Maverick 的 1 到 8。
Baseten Base Labs:模型研究AI 评分5454 Baseten Base Labs 分析 on-policy 自蒸馏(OPSD)的偏差问题
Baseten Base Labs 发文认为 on-policy self-distillation(OPSD)不值得继续投入研究。
Baseten 工程博客AI 评分5050 Base Labs 研究:on-policy self-distillation 存在偏差,并非持续学习银弹
Base Labs 在 11 月 6 日的研究更新中指出,on-policy self-distillation(OPSD)虽在部分场景仍有用,但不值得继续投入研究。作者认为,OPSD 的教师模型已知道答案,无需检查、回溯或保留余地,这种稠密损失主要带来偏差,且可能只保留旧知识而学不到新知识。
TransluceAI 评分4545 Transluce 研究微调效果预测的缩放定律:Qwen3.5 监督模型随规模提升,自预测例外
Transluce 训练不同规模 Qwen3.5 监督模型,根据微调数据集预测 Qwen3.5-2B 被微调后的回答,发现性能随模型与数据规模呈幂律提升。与主体模型同源的监督模型表现优于更大模型,且性能存在非零损失下限。预测性能还可泛化到更难的分布外数据集。
MIT NewsAI 评分4545 MIT 团队用 CheMeleon 从稀缺数据预测分子性质
MIT 团队开发的 CheMeleon 通过预训练百万分子、约 1600 个分子描述符,在数据稀缺时预测分子性质优于现有方法,并在 58 个测试案例中排名第一。该开源模型基于 ChemProp,可下载微调;在 OpenADMET 竞赛前 20 名中有 9 个参赛方案使用了它,已有制药公司将其列为建模默认起点。
Rohan Paul@rohanpaul_aiAI 评分5858Johns Hopkins 新论文发现,LLM 训练数据中只出现过一次的事实(monofacts)占比越高,科学发现率越高。
MarkTechPostAI 评分6565 百度发布 ERNIE 5.5 Flash Base:280B 总参、14B 激活的 MoE 基座模型
百度发布 ERNIE 5.5 Flash Base,这是 280B 总参数、每 token 激活 14B 的稀疏 MoE 基座模型,权重止于预训练阶段,已在 Hugging Face 和 ModelScope 提供 FP8 与 BF16 权重。
Rohan Paul@rohanpaul_aiAI 评分5151
公众号:小红书技术AI 评分4343 小红书 AllSpark 团队提出 Navalia:让 35B 模型做好复杂办公
小红书 AllSpark 团队提出 Navalia,通过自动构建文档环境、合成证据可追溯且答案可验证的跨文档任务,并结合轨迹采集与长程后训练,形成从数据到训练的完整配方。
公众号:小红书技术AI 评分4747 小红书 AllSpark 提出 Navalia:让 35B 模型做好财报分析与复杂办公
小红书 AllSpark 团队提出 Navalia,基于 Qwen3.6-35B-A3B 构建财报分析任务环境并做长程后训练,在五项基准上较基座模型提升 13.07–23.06 个百分点。
OpenHands 官方博客精选AI 评分6262 OpenHands 与 Snowflake 推出基于现有 agent harness 的模型后训练方案
OpenHands 与 Snowflake AI Research 合作,让开发者无需在独立 RL 框架中重建 harness,即可用现有 OpenHands Agent SDK 配置和 Harbor 格式任务对开源权重模型做 RL 后训练,训练由 Snowflake Cortex Training 提供 GPU 支持。
推荐理由:原文展示了直接用现有 OpenHands harness 做 RL 后训练的完整流程和实验结果,开发者可据此评估是否把后训练纳入自己的 agent 开发循环。
Rohan Paul@rohanpaul_aiAI 评分5454引用Intology@intologyLocus sets the frontier for automating molecular design Our automated research system Locus develops scientific AI models that outperform SOTA expert solutions Unlocking the potential of scientific AI requires leveraging proprietary data. Locus achieves this autonomously 🧵👇 -- We test Locus across a number of tasks related to molecular scoring and design: training molecular property prediction models for a proprietary task, fine-tuning Boltz-2 to predict small-molecule potency, and building antibody design workflows around BoltzGen, Boltz-2, ESMC, and ESMFold2. Each of these settings are real-world AI for science use cases, where tasks are often out-of-distribution for existing foundation models and limited in data, while featuring expensive and noisy evaluators. Compared to state-of-the-art baselines and LLM agents set to optimize these tasks, Locus achieves higher performance. Additionally, Locus generalizes better despite limited data, finds more sample efficient solutions, and explores a higher diversity of solutions.
Transluce精选AI 评分6868 Transluce 自动化批量生成 6915 个带意外副作用的训练数据集 DSSE-1.1
Transluce 发布自动化流水线,按诱导性、自然性和意外性三个目标批量搜索带意外副作用的训练数据集(DSSE),并开源 DSSE-1.1 集合,共 6915 个数据集,覆盖 18 种目标行为(如推荐自残、抵抗关机等)。
推荐理由:原文提出自动化流水线批量生成带意外副作用的训练数据集,把此前仅数十例的现象扩展到近7000个,为研究泛化提供了可测试的素材。
IT之家·人工智能AI 评分6565 MIT CSAIL 提出「权重空间编程」:GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 权重,MATH-500 成绩提升至 6 倍
MIT CSAIL 研究者提出「权重空间编程」,让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的权重,仅改动 131072 个权重(约 0.016%),无梯度下降或传统训练循环。
indigo@indigoxAI 评分5353引用Rikiya Takehi@rikiyatakehiWe asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: rikiyat.github.io/blog/weight…
Apple Machine Learning ResearchAI 评分4040 Apple 研究提出 Attention 到 Mamba 跨架构蒸馏方案,Pythia-1B 性能基本保留
Apple 研究者提出两阶段跨架构蒸馏方法:先把 Transformer 的知识蒸馏到线性化 Attention,再蒸馏到不含 Attention 模块的改造版 Mamba。
TechCrunch:AIAI 评分5555 Trajectory 融资 4500 万美元,让非技术专家也能训练 AI 模型
AI 训练初创公司 Trajectory 宣布完成 4500 万美元 A 轮融资,估值 3 亿美元,由 Sequoia 领投,Nvidia、Bessemer Venture Partners 和 Bain Capital Ventures 参投。
MarkTechPostAI 评分5353 Deep Principle 发布 753B 开放权重科学模型 Hydrogen-1.0
Deep Principle 发布基于 GLM-5.3 后训练的开放权重科学模型 Hydrogen-1.0,753B 参数(MoE,约 40B 激活),1M token 上下文,MIT 许可证,权重已在 Hugging Face 和 ModelScope 上线。
Rohan Paul@rohanpaul_aiAI 评分4747