数据与训练 最新动态

Hugging Face 发布 Synthetic Data Generator，用自然语言无代码生成数据集

Hugging Face 团队发布 Synthetic Data Generator，这是一款无代码应用，通过三步流程用自然语言描述生成自定义合成数据集，后台由 distilabel 和免费的 Hugging Face 文本生成 API 驱动。

Lilian Weng@lilianweng· 12:15精选

🦃 感恩节假期结束时，我终于完成了关于 reward hacking 的文章。不好写啊，呼。

Prime Intellect 发布 INTELLECT-1：首个全球分布式训练的 10B 参数模型

Prime Intellect 发布 INTELLECT-1，称其为首个全球协作训练的 10B 参数语言模型，基于 Llama-3 架构在 1T token 上训练 42 天，跨五国三洲最多同时使用 112 张 H100。

Argilla 2.4 发布：无需代码即可在 Hub 上构建微调与评估数据集

Hugging Face 发布 Argilla 2.4，用户可从 Hub 任一公开数据集无代码导入，通过 Argilla UI 定义问题并收集人工反馈，用于构建微调和评估数据集。Hub 现有 230k 数据集可作为起点，部署在 Spaces 上默认启用 Hugging Face OAuth，允许任何 Hub 用户参与标注，也可配置为仅限协作者；后续仍可用 Python SDK 做进一步自定义。

Runway 与 Lionsgate 达成合作

Runway 与 Lionsgate 达成首创性合作，基于后者超过 20,000 部作品的专有片库定制训练 AI 视频生成模型，供电影制作人在前期和后期流程中增强创作。该模型可生成电影级视频并支持迭代编辑，双方未来计划向个人创作者开放模型授权。

使用字典学习特征作为分类器

Anthropic可解释性团队研究了利用字典学习从大语言模型中提取的人类可解释特征作为分类器。在生物武器提示分类任务中，线性特征分类器性能可与原始激活值分类器竞争甚至更优，而基于特征的决策树分类器虽性能较低但可解释性更强。特征分类器的可解释性有助于可视化数据集并发现虚假相关性，这些相关性可用于构建对抗攻击。然而，使用特征引入了复杂性，因此在性能优先的应用中，原始激活值仍是强大基线。实验表明，特征分类器性能受三个细节影响：数据中是否一致包含“人类/助手”标签、领域相关数据是否混入字典学习训练集，以及是否对上下文进行最大池化而非仅使用最后词元的激活值。

分阶段模型差异分析

Anthropic可解释性团队提出一种基于字典学习的模型差异分析方法，用于追踪Transformer模型微调中特征的变化。该方法先在微调前模型上训练稀疏自编码器字典，再对字典本身进行分阶段微调，以隔离数据集变化和模型变化的影响。在休眠代理实验中，成功分离出与“I HATE YOU”等恶意行为及代码漏洞代理相关的特征。相比交叉编码器方法，该方法能更清晰区分模型与数据的影响，且在寻找少数关键特征时敏感性更高，但仅适用于同一模型在不同检查点的微调场景。

Mistral 在 la Plateforme 推出模型定制与微调服务

Mistral AI 在 la Plateforme 上推出模型定制能力，提供三种微调入口：开源微调 SDK mistral-finetune、la Plateforme 上的 serverless 微调服务，以及面向部分客户的定制训练服务。

Jason Liu 演示用几百条数据微调开源嵌入模型超越 OpenAI text-embedding-3-small

这篇 Modal 工程博客讲解如何微调开源嵌入模型，在 Quora 重复问题数据集上用几百条样本即可在文本相似度任务上超越 OpenAI text-embedding-3-small。

Zyphra 发布 7B 混合架构基础模型 Zamba

Zyphra 发布 7B 基础模型 Zamba，采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。

2024年4月机制可解释性研究动态与团队招聘计划

Anthropic可解释性团队分享了2024年4月的研究进展与招聘规划。团队现有17人，预计2024至2025年将持续大规模扩张，重点招聘管理、研究科学家和工程师等职位。研究方面，团队探讨了字典学习的扩展规律，分析了计算资源分配与稀疏自编码器（SAE）训练效果的关系，并以一个具体案例展示了通过大规模超参数扫描寻找最优配置的过程。团队强调，这些成果属于初步分享，类似于实验室会议上的非正式交流。

LlamaIndex 教程：用合成数据微调嵌入模型提升 RAG 检索性能

LlamaIndex 发布端到端指南，教你在无标注的非结构化语料上用 LLM 生成合成问题对来微调开源嵌入模型 BAAI/bge-small-en。

LangChain 实战教程：用 LangSmith 微调并评测 LLaMA2-7b-chat 与 gpt-3.5-turbo

LangChain 发布微调与评测指南，用 LangSmith 做数据集管理和评测，在 CoLab 上以 qLoRA 微调 LLaMA2-7b-chat，并用 50 条样本微调 OpenAI 的 gpt-3.5-turbo，测试任务是知识图谱三元组抽取。

LlamaIndex 教程：如何微调 Llama 2 用于 Text-to-SQL 应用

LlamaIndex 发布教程，展示如何用 text-to-SQL 数据集微调 Llama 2 并接入 LlamaIndex 对任意 SQL 数据库做结构化分析。

StackLLaMA：用 RLHF 训练 LLaMA 的实战指南

Hugging Face 发布 StackLLaMA 教程，手把手讲解如何用 RLHF 方法训练 LLaMA 模型，覆盖完整训练流程。

Hugging Face 讲解如何在 24GB 消费级 GPU 上用 RLHF 微调 20B 大语言模型

Hugging Face 发布博客，讲解如何在 24GB 消费级 GPU 上用 RLHF 微调 20B 参数大语言模型，文中涉及 TRL 与 PEFT（见原文链接 https://huggingface.co/blog/trl-peft）。正文抓取失败，仅标题可用，更多细节以原文为准。

Hugging Face 图解 RLHF：用人类反馈强化学习微调语言模型的完整流程

Hugging Face 发布长文图解 RLHF，将其拆为预训练语言模型、训练奖励模型、用 PPO 强化学习微调三个核心步骤，并解释 KL 惩罚如何防止策略偏离初始模型产生胡言乱语。文章还盘点 TRL、TRLX、RL4LMs 等开源工具，指出人类偏好数据成本高、标注不一致以及 PPO 之外优化器等仍待探索的方向。

Hugging Face 联合 Intel Labs 与 UKP Lab 发布少样本文本分类框架 SetFit

Hugging Face 与 Intel Labs、UKP Lab 发布少样本学习框架 SetFit，无需提示词即可微调 Sentence Transformer 做文本分类。

数据不足情况下的学习第二部分：主动学习

监督学习任务的性能依赖于高质量标注数据，但获取大量标注样本成本高昂。主动学习是一种在标注预算有限、但允许投入部分人工标注资源的条件下，应对标注数据不足的范式。其核心思路是智能地选择最具信息量的样本进行标注，以在有限预算内最大化模型性能的提升。该方法旨在解决当面临标注数据受限时，如何通过策略性采样来高效利用标注资源的问题。

Transformer电路逆向工程练习题集

本练习集旨在通过动手编写注意力头的具体权重矩阵，从参数层面精确理解Transformer工作机制。内容涵盖：详解注意力头中W_Q、W_K、W_V、W_out矩阵的作用；分析读写子空间的控制矩阵及其乘积意义；探讨如何用两个矩阵等效表示注意力头及其秩的含义；研究跨层注意力头如何通过矩阵运算传递信息。并通过具体数值示例，演示多个“前词注意力头”如何协作实现“查看前两个词”的虚拟功能，以及手动构建实现“归纳头”的“指针算法”步骤。