跳到正文

技术方向

数据与训练 最新动态

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

241 条精选近 30 天 12 条共收录 1,895 条

更新

数据与训练的精选

10月9日周五第 1–20 条
  1. Hugging Face 官方团队博客72

    Hugging Face 工程师用 ML Intern 以约 103 美元自制 7 个小模型

    Hugging Face 工程师 yuvraj sharma 用 HuggingChat 的 ML Intern 模式在几天内做出 7 个模型,包括可在 CPU 运行、99.7% 有效输出的 0.8B 提示词重写器,以及将柑橘病害识别准确率从 14.9% 提升到 52.8% 的 Qwen3.5-2B 微调模型等,全部计算成本约 103 美元。

    推荐理由:作者总结了预算控制、基线评测和冒烟测试等提示词写法,让 agent 自主完成数据构建、训练与发布,方法可直接迁移复用。

10月8日周四
10月1日周四
  1. Modal 官方工程博客67

    Modal Clusters 正式发布,通过 @modal.clustered 提供多节点 GPU 集群

    Modal 宣布 Modal Clusters 正式可用,通过一个装饰器 @modal.clustered 即可获得多节点集群,节点间经 InfiniBand verbs 通信可达 6.4 Tbps,自动配置 PyTorch 和 NCCL。

    推荐理由:官方宣布多节点集群正式可用,文中解释了 gang scheduler 与 RDMA 的实现细节,并给出 Decagon、1x、Runway 的实际用法。

9月29日周二
  1. Hugging Face 社区博客67

    NVIDIA 发布开源表格基础模型 Kumo Tabular,在 TabArena 等四项基准排名第一

    NVIDIA 发布开源表格基础模型 Kumo Tabular,对带标签表格做单次前向推理即可完成分类和回归,无需训练、调参或特征工程。

    推荐理由:官方技术博客披露了架构、纯人工数据预训练配方和四项基准成绩,读者可据此评估其替换梯度提升树的可行性。

9月28日周一
  1. MIT News78

    MIT利用AI算法优化RNA疫苗配方,实现室温稳定保存一年

    MIT研究人员借助AI算法优化脂质纳米颗粒(LNP)的辅料配比,成功开发出耐热性更强的RNA疫苗配方。该配方使疫苗在室温下可稳定保存一年,或在37摄氏度下保存两个月,且在小鼠实验中产生的免疫反应与Moderna类似。AI算法通过少量实验数据快速收敛至最优解,将原本需数月的筛选过程缩短至几周。相关成果发表于《Nature Biotechnology》。

    推荐理由:展示了AI在小数据集和复杂生物化学问题中的高效应用,显著加速了药物研发流程,具有明确的科学突破和实际应用价值。

  2. 小米 MiMo:官网发布与博客63

    小米 MiMo-V2.6 诊断并修复工具调用重复问题,用 MOPD 将修复成本降至 MixRL 方案的 4%

    小米官方复盘 MiMo-V2.6 发布后的工具调用重复问题,响应级重复率超 0.05%,并区分了正常并行调用、调用泛滥与调用重复。回放 RL 各 checkpoint 显示泛滥率随训练从 11.1% 升至 24.6%,32 次调用阈值惩罚过于宽松;直接调低阈值需重启 20 步 MixRL,估计成本 231 万美元,且内部测试重复率仅从 13.45% 降至 3.83%。

    推荐理由:原文给出完整的归因实验和修复路径,还公开了成本对比,读者可借鉴其诊断 RL 训练中涌现行为的方法。

9月24日周四
  1. NVIDIA Blog61

    NVIDIA 联合 Google DeepMind 等机构开放 2800 多种病毒的蛋白复合物预测结构数据集

    NVIDIA 与 Google DeepMind、EMBL-EBI 等全球研究机构合作,通过 AlphaFold Database 开放发布 2800 多种病毒的蛋白复合物预测 3D 结构,旨在为下一次疫情储备知识。

    推荐理由:原文给出数据集规模、覆盖范围和可复用的开源预测流程,读者可以据此评估如何用于自己的蛋白结构研究。

  2. Anthropic:Newsroom76

    Anthropic 成立生命科学实验室,Claude 自主发现类 CRISPR 的新型酶系统 ART

    Anthropic 宣布成立生命科学研究组与实验室,Claude 智能体在仅有人类高层指导下自主发现一种与 DNA 重复序列相关、结构类似 CRISPR 的新型酶系统,命名为 array-associated reverse transcriptases(ART),并发布预印本。

    推荐理由:原文给出 Claude 发现新酶系统的具体过程与规模数据,读者可了解 AI 智能体如何参与基础生物学发现的工作方式。

9月22日周二
  1. PyTorch:Blog63

    Shopify 如何用 PyTorch 和 vLLM 构建持续学习闭环,服务成本降低 96%

    Shopify 在 PyTorch 官方博客详解其基于 PyTorch 和 vLLM 的持续学习闭环,通过自愈管线把生产失败转为训练信号,用 SFT 加 GRPO 让专用模型质量超越前沿模型,GraphQL agent 服务成本从估算的每年约 2700 万美元降至约 100 万美元,降幅 96%。

    推荐理由:原文给出从质量标注、判官校准到 SFT 加 RL 和 gist 压缩的完整闭环方法,可迁移到自建 Agent 的持续学习场景。

9月18日周五
9月15日周二
  1. IT之家·人工智能77

    404 Media 曝光 OpenAI 莉莉计划:人工审核 ChatGPT 聊天记录以优化模型

    404 Media 披露 OpenAI 内部代号为莉莉计划(Project Lily)的项目,由时薪超 50 美元的提示词审核员查看匿名化后的真实用户聊天记录,评判回复是否切题、是否存在 AI 式话术和谄媚口吻。

    推荐理由:报道披露了人工审核流程的运作细节和隐私边界,读者可以据此了解模型优化背后的人力环节与数据风险。

9月12日周六
  1. Dwarkesh Patel:Podcast & Blog67

    Beren Millidge、John Schulman、Charlie O'Neill 对谈递归自我改进离我们还有多远

    Dwarkesh Patel 与 Zyphra CTO Beren Millidge、Thinking Machines 首席科学家 John Schulman、Baseten 模型训练负责人 Charlie O'Neill 三位研究者对谈递归自我改进(RSI)的前景。

    推荐理由:三位一线研究者就递归自我改进的技术瓶颈、蒸馏与RL环境壁垒、参数规模趋势给出具体分歧和可检验预测。

9月11日周五
  1. Together AI 研究与产品博客63

    Together AI 扩展微调服务:新增模型、实验跟踪与更细训练控制

    Together AI 扩展 Together Fine-Tuning 服务,新增对 GLM-5.3、Kimi K2.7、Qwen 3.5 系列等最新开源权重模型的支持,并上线实时实验跟踪、数据集预览验证等能力。

    推荐理由:原文给出新模型支持、Expert LoRA 实测对比、自动早停和降价幅度等具体细节,读者可据此评估微调工作流的实际改进。

9月10日周四
  1. OpenAI:官网动态63

    OpenAI 在 ChatGPT Work 中推出 Data agent

    OpenAI 在 ChatGPT Work 中推出新的 Data agent,用户用自然语言即可连接公司数据、分析变化并生成可分享的交互式仪表盘。

    推荐理由:官方公布了数据源和 BI 工具接入范围及权限管控方式,读者可据此评估它在自有数据工作流中的落地路径。

9月9日周三
  1. Anthropic:The Institute64

    Anthropic 发布经济情景模型,推演 AI 对 2030 年美国就业与工资的影响

    Anthropic 经济团队基于技术报告《Economic Scenarios for Transformative AI》发布交互式经济情景探索工具,把经济表示为任务束,推演 AI 到 2030 年对美国经济的影响。

    推荐理由:原文给出模型化的三种经济情景和关键数字,读者可以据此理解AI对不同职业工资和就业的可能影响。

  2. Dwarkesh Patel:Podcast & Blog60

    Dwarkesh Patel 研究:预训练进步主要来自数据改进

    Dwarkesh Patel 发布实验分析,在最高 1e19 FLOPs 的算力预算下训练 2019 至 2025 年各年度代表性模型配方与数据语料,发现数据改进带来 12.0x 算力效率提升,模型改进为 3.7x,数据贡献约为模型的 3.24 倍。

    推荐理由:文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。

9月4日周五
  1. Google Research:Blog64

    Google 联合 HHMI Janelia 发布完整雄性果蝇大脑连接组图谱

    Google 与 HHMI Janelia、MRC 分子生物学实验室及剑桥大学等合作,在 Cell 发表雄性果蝇大脑和中枢神经系统的完整连接组,包含超 166,000 个神经元和 1.25 亿个突触连接,是迄今按神经元数量计最大的大脑图谱。

    推荐理由:原文交代了连接组规模、验证流程和开放获取方式,并说明与雌性图谱配合能支持哪些比较研究。

9月3日周四
  1. Hugging Face 社区博客63

    用 TRL 和 OpenEnv 训练编码模型画水彩:Hugging Face 全流程开源复现

    Hugging Face 博客作者基于 Surya Narreddi 的原始想法,用 TRL、OpenEnv 和 Qwen/Qwen3.5-35B-A3B 复现了让语言模型通过 p5.brush 写 JavaScript 画水彩的 RL 训练流程,所有数据集、环境、脚本和模型均开源在 Hub。

    推荐理由:作者用 TRL 和 OpenEnv 完整开源复现了让编码模型画水彩的 RL 配方,含数据池、环境和三组奖励对比,可整体迁移复用。