Cohere Labs 研究:数据混合如何解锁多语言母语推理
Cohere Labs 基于 32K 上下文长度的 Tiny Aya 基础模型,用数据混合策略训练出 Tiny Aya L2-Thinker,在 60 种语言上实现超 93% 的母语推理率。
Cohere Labs 基于 32K 上下文长度的 Tiny Aya 基础模型,用数据混合策略训练出 Tiny Aya L2-Thinker,在 60 种语言上实现超 93% 的母语推理率。
Baseten Base Labs 复现并检验了近期关于 RL 训练轨迹近似直线、可通过线性外推替代完整 RL 运行的结论,发现其效果有限。
Fireworks 在 GLM 5.2 上做同一 RL 任务实验,训练端与 rollout 引擎概率计算不一致时 KL 约 0.013、每批约 45% 样本被丢弃,reward 在约第 20 步从 0.9 崩到 0.2 以下;对齐后 KL 为 0、reward 全程稳定。
Ai2 发布 Olmo-core 3,这是支持大规模混合专家(MoE)训练的开源框架,已验证可扩展至万亿参数级别。在 8 张 NVIDIA B300 GPU 上,47B 参数 MoE 吞吐达 52,000 tokens/秒/GPU,约为旧 FSDP 实现的 2.7 倍;专家池从 8 扩至 128 而训练吞吐下降不足 5%。
Apple 研究团队提出 SCLATE,一个让基准测试与未经修改的智能体各自通过适配器向同一开放事件调度器注册事件的执行基座,其混合模拟时钟可将长达一个月的场景压缩到数小时内运行。
上海人工智能实验室 InternLM 项目发布 ResOPD,一种仅用教师模型 Top-k 概率和学生采样 token 概率即可估计全词表 reverse-KL 梯度的稀疏在线策略蒸馏方法,教师传输量和前向次数与稀疏 OPD 持平。
MIT研究人员借助AI算法优化脂质纳米颗粒(LNP)的辅料配比,成功开发出耐热性更强的RNA疫苗配方。该配方使疫苗在室温下可稳定保存一年,或在37摄氏度下保存两个月,且在小鼠实验中产生的免疫反应与Moderna类似。AI算法通过少量实验数据快速收敛至最优解,将原本需数月的筛选过程缩短至几周。相关成果发表于《Nature Biotechnology》。
推荐理由:展示了AI在小数据集和复杂生物化学问题中的高效应用,显著加速了药物研发流程,具有明确的科学突破和实际应用价值。
小米官方复盘 MiMo-V2.6 发布后的工具调用重复问题,响应级重复率超 0.05%,并区分了正常并行调用、调用泛滥与调用重复。回放 RL 各 checkpoint 显示泛滥率随训练从 11.1% 升至 24.6%,32 次调用阈值惩罚过于宽松;直接调低阈值需重启 20 步 MixRL,估计成本 231 万美元,且内部测试重复率仅从 13.45% 降至 3.83%。
推荐理由:原文给出完整的归因实验和修复路径,还公开了成本对比,读者可借鉴其诊断 RL 训练中涌现行为的方法。
Google 团队用 MaxText 在 Google Cloud TPU 上从头复现 Ai2 的 Olmo 3 7B,完成 stage-1 预训练(约5.93T token。
NVIDIA 与 Google DeepMind、EMBL-EBI 等全球研究机构合作,通过 AlphaFold Database 开放发布 2800 多种病毒的蛋白复合物预测 3D 结构,旨在为下一次疫情储备知识。
推荐理由:原文给出数据集规模、覆盖范围和可复用的开源预测流程,读者可以据此评估如何用于自己的蛋白结构研究。
Baseten Base Labs 用 Qwen3 0.6B/1.7B/4B/8B 在 16 个推理任务上比较 GRPO 直接训练与先用 gpt-5.6-sol 教师解法做 SFT 再 RL。
Anthropic 宣布成立生命科学研究组与实验室,Claude 智能体在仅有人类高层指导下自主发现一种与 DNA 重复序列相关、结构类似 CRISPR 的新型酶系统,命名为 array-associated reverse transcriptases(ART),并发布预印本。
推荐理由:原文给出 Claude 发现新酶系统的具体过程与规模数据,读者可了解 AI 智能体如何参与基础生物学发现的工作方式。
Shopify 在 PyTorch 官方博客详解其基于 PyTorch 和 vLLM 的持续学习闭环,通过自愈管线把生产失败转为训练信号,用 SFT 加 GRPO 让专用模型质量超越前沿模型,GraphQL agent 服务成本从估算的每年约 2700 万美元降至约 100 万美元,降幅 96%。
推荐理由:原文给出从质量标注、判官校准到 SFT 加 RL 和 gist 压缩的完整闭环方法,可迁移到自建 Agent 的持续学习场景。
Amazon Bio Discovery 团队发布三篇论文,分别针对抗体结合强度排序、可开发性预测和端到端抗体设计。
Anthropic 发布一套测量前沿 AI 开发节奏的指标,覆盖 AI 主导研发、智能体监督和算力分配三方面。
推荐理由:Anthropic 公开测量自身 AI 研发自动化程度、智能体监督和算力分配的方法与数据,读者可以看到前沿实验室透明度报告的一种可复用范式。
蚂蚁百灵为 PB 级大模型数据治理搭建的统一宽表系统 OmniTable,将一项真实 SFT 数据治理任务的处理周期从约 14 天缩短至约 2.5 天,缩短约 82.1%,人工操作步骤从约 45 个减至约 12 个。该系统目前管理超过 35 PB 数据、逾 3050 亿条记录,相关论文获 VLDB 2026 最佳工业论文奖。
Amazon Science 介绍其论文《What fits (into few tokens) doesn't overfit》,用可重置的 LLM 研究智能体实验解释为什么机器学习研究社区长期在固定基准上迭代却很少过拟合。
Google 发布 autofinetune 项目,把 autoresearch 的自主研究循环应用到 LLM 后训练(SFT 和 GRPO),使用 Tunix、Gemma、Cloud TPU,由 Antigravity CLI 和 Gemini Flash 3.7 编排。
Together AI 扩展 Together Fine-Tuning 服务,新增对 GLM-5.3、Kimi K2.7、Qwen 3.5 系列等最新开源权重模型的支持,并上线实时实验跟踪、数据集预览验证等能力。
推荐理由:原文给出新模型支持、Expert LoRA 实测对比、自动早停和降价幅度等具体细节,读者可据此评估微调工作流的实际改进。
Google 在 ACL 2026 提出 ToolGrad,用文本“梯度”迭代构建 API 工作流,先产出真实工具调用链再反向标注用户提示词,实现近乎 100% 的数据生成通过率。
OpenAI 在 ChatGPT Work 中推出新的 Data agent,用户用自然语言即可连接公司数据、分析变化并生成可分享的交互式仪表盘。
推荐理由:官方公布了数据源和 BI 工具接入范围及权限管控方式,读者可据此评估它在自有数据工作流中的落地路径。
Cognition 发布最先进编码模型 SWE-2,基于 2.8T 参数的 Kimi K33 后训练,在 FrontierCode 1.1 Main 取得 50.0%,仅比 Fable 5.1 低不到一分且便宜 64%。
推荐理由:官方详细公开了 SWE-2 的训练方法与成本惩罚公式,读者可以借此理解如何用 RL 推移整条成本性能前沿。
Genspark 与 Fireworks Lab 合作,通过 RL 后训练将开源多模态模型 MiniMax M3 打造成 Gen-1 Slides,可端到端规划、撰写并自查幻灯片。
LG AI Research 发布面向结构化表格数据的分类与回归基础模型 EXAONE Tabular,完全基于 SCM 合成数据预训练,未使用任何真实表格数据,通过上下文学习免重训直接预测。
智元发布原生世界—动作模型GE-Act 2.0,所有参数从随机初始化在具身操作数据上从头训练,不针对评测任务微调或示范。
a16z Charts 汇总近期数据指出,自 2025 年 1 月以来科技招聘明显更偏好工作年限(约 5-10% 变化)而减少对技能数量的要求,作者认为这与 AI 带来的技能空白有关。
Google 与 HHMI Janelia、MRC 分子生物学实验室及剑桥大学等合作,在 Cell 发表雄性果蝇大脑和中枢神经系统的完整连接组,包含超 166,000 个神经元和 1.25 亿个突触连接,是迄今按神经元数量计最大的大脑图谱。
推荐理由:原文交代了连接组规模、验证流程和开放获取方式,并说明与雌性图谱配合能支持哪些比较研究。
Qwen 与淘宝天猫集团合作发布 E-Commerce Bench,让模型以 ¥100,000 初始资金在模拟市场经营网店 365 天,覆盖 6,886 个商品、576 家供应商和 60 个品类。
Cohere Labs 聚合七个公开目录,构建含 696,291 个工具、123,069 个 MCP 服务器的 Agentic Task Ecosystem 数据集并对外开放。
推荐理由:研究用近 70 万个 MCP 工具构建供给侧数据集,给出自动化落在职业哪个环节的证据,可与曝光度研究互补阅读。
NVIDIA 技术博客发布一套 AI 推理 GPU 规模规划框架,围绕用例、token 模式、TTFT 等延迟指标、并发、缓存命中率、模型选择和部署策略给出 sizing 方法,并提出 core-and-flex 容量策略平衡 capex 与 opex。
Fireworks AI 宣布 Training API 正式可用,并推出 Fireworks Lab 服务,提供 Serverless(LoRA、按 token 计费)和 Dedicated(支持全参数训练、按 GPU 小时计费)两种算力选项。
Databricks 为 Genie One 推出新功能,帮助用户将 AI 生成的洞察直接转化为实际行动。新功能聚焦于从“回答问题”到“执行任务”的延伸,使用户能在同一界面内基于分析结果触发后续操作,减少来回切换工具的成本。具体功能细节与可用性未在原文中详述。
Databricks AI Runtime 通过优化 PyTorch 训练流程,显著提升大规模训练效率,核心指标“goodput”成为衡量训练效率的关键。该方案在故障容错与性能之间取得平衡,减少因节点故障导致的训练中断与重启开销,从而提升整体吞吐量。适用于需要长时间稳定运行的大规模分布式训练场景。
Thinking Machines Lab 发布 ReViSQL-K26,基于 Kimi-K2.6 在自建的 BIRD-Platinum 数据上做 RLVR 微调,在专家校验的 Arcwise-Plat-SQL 基准上以 SC-16 达到 92.97% 准确率,超过 92.96% 的人类水平,单任务成本 $0.56,greedy 解码下 91.37% 成本仅 $0.035。
Apple 研究团队提出 IDEA Prune,将放大模型预训练纳入结构化剪枝流程,形成集成式 enlarge-and-prune 管线。该研究探讨两个关键问题:即使放大模型从不部署,预训练它是否值得;以及如何优化该流程以提升 token 效率。相比从头训练目标尺寸模型,该流程在有限推理预算下展现出更高的 token 效率。
Anthropic 今年春季启动试点,通过隐私保护工具 Anthropic Insights(原 Clio)向斯坦福大学 SALT Lab、牛津大学人类信息处理实验室及 METR 三个外部机构开放约 25 万段 2026 年 4-5 月的 Claude.ai 或 Claude Code 对话数据,供其独立设计研究并公开发布结果。
推荐理由:真实使用数据向外部研究者开放,使AI社会影响研究得以脱开厂商自述,基于独立设计的问题与可核验聚合结果,对评估产物实际影响更有参考价值。
PROOF-Gen提出用优化后的数据改进工具调用能力的知识蒸馏。在τ²-bench上,教师模型57%的试运行失败,其中三分之二是近失(大部分工具调用正确),而传统生成-过滤流程因失败不提供信号,每轮都会遗留相同的难题。该方法通过利用失败信号优化数据,提升蒸馏效果。
Harvey 与 Fireworks 合作发布首个模型 Tenet,以 Kimi K3 为基座、用 Fireworks Training API 上的异步强化学习为长程法律工作做后训练。
Meta 发布 MTIA 300,这是其自研加速器家族中首款针对推荐与排序模型训练优化的芯片。芯片封装内集成 12 个 800 Gbps RDMA NIC,提供 1.2 TB/s 总 I/O 带宽,并通过 16 个专用消息引擎卸载通信,使大规模 GEMM 与集合通信并发时计算吞吐损耗低于 0.5%。
医疗 AI 面临“预言机问题”:临床决策主观、底层数据不透明、评测易沦为营销,导致医院难以客观评估模型优劣。OpenAI 报告每周超 3 亿人用 ChatGPT 咨询健康问题,2026 年每百万条病历中约 1,686 条记录患者对模型回答的追问。a16z 正与 Protege 合作,试图通过追踪患者长期结局来解决这一评估难题。