Zyphra 发布 7B 混合架构基础模型 Zamba
Zyphra 发布 7B 基础模型 Zamba，采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。
推荐理由：官方原文给出架构设计、训练规模和开放 checkpoints 细节，读者可以据此评估 Mamba 混合架构在本地部署上的取舍。
#数据/训练
Zyphra Research精选AI 评分6161
Anthropic：Transformer Circuits精选AI 评分7676 2024年4月机制可解释性研究动态与团队招聘计划
Anthropic可解释性团队分享了2024年4月的研究进展与招聘规划。团队现有17人，预计2024至2025年将持续大规模扩张，重点招聘管理、研究科学家和工程师等职位。研究方面，团队探讨了字典学习的扩展规律，分析了计算资源分配与稀疏自编码器（SAE）训练效果的关系，并以一个具体案例展示了通过大规模超参数扫描寻找最优配置的过程。团队强调，这些成果属于初步分享，类似于实验室会议上的非正式交流。
推荐理由：可解释性研究揭示AI内部机制，助力构建更安全可靠的AI产品。
EleutherAI：Blog Pile-T5：基于 The Pile 训练的 T5 模型
Pile-T5 是研究人员基于 T5 架构，在 The Pile 大规模文本数据集上训练的语言模型。该模型继承了 T5 的文本到文本转换框架，通过在大规模多样化语料上的预训练，提升了自然语言理解与生成能力。Pile-T5 的发布为相关研究提供了基于 The Pile 数据训练的 T5 变体，适用于各类下游自然语言处理任务。
Hamel Husain 长文AI 评分6464 Hamel Husain 介绍用对抗验证检测 AI 数据漂移并开源 ft_drift 工具
Hamel Husain 介绍用对抗验证检测模型输入或训练数据漂移的方法：给两组数据打 0/1 标签训练二分类器，若 AUC >= 0.60 则存在漂移，并可通过特征重要性定位根因。该方法无需复杂工具，他还发布了 CLI 工具 ft_drift，可检测两个多轮对话 l 文件之间基于 token 的漂移，并用真实案例展示了如何据此定位 prompt 模板的意外变更。
Hamel Husain 长文AI 评分6363 Hamel Husain 分析微调在哪些场景仍然有价值
Hamel Husain 撰文回应微调无用论，认为微调在许多场景仍然很有价值，唱衰者多在做开发者工具或通用助手等微调难以发挥的产品。他强调没有 eval 系统就无法有效微调，建议先尽量做 prompt 工程以压测 eval 体系；微调最适合学习语法、风格和规则，RAG 更适合补充上下文和新近事实。
EleutherAI：Blog Yi-34B、Llama 2 与 LLM 训练常见实践：对《纽约时报》的事实核查
文章针对《纽约时报》关于 Yi-34B 与 Llama 2 关系的报道进行事实核查，澄清 Yi-34B 在架构设计、训练数据及分词器实现上与 Llama 2 的实际差异，同时系统梳理了当前大语言模型训练领域的行业常见实践，强调在遵循开源协议前提下基于现有架构进行技术迭代是 AI 社区的标准做法。
Hugging Face 社区博客AI 评分5454 Hugging Face 发布 Cosmopedia：如何为 LLM 预训练创建大规模合成数据
Hugging Face 发文介绍 Cosmopedia，讲解如何创建用于大语言模型预训练的大规模合成数据。正文抓取失败，仅标题可用。
LMSYS Blog LMSYS Chatbot Arena：实时社区驱动的大模型评估平台
LMSYS Chatbot Arena是由LMSYS和UC Berkeley SkyLab于2023年5月推出的开源评估平台，基于FastChat框架构建。平台通过实时两两对比已收集超80万张社区投票，评估了GPT-4、Gemini、Llama、Mistral等90余个模型。坚持透明原则，仅收录API或开源权重可访问的公开模型，同时支持未发布模型匿名测试。团队定期开放20%投票数据（含提示词、回答及用户偏好），致力于通过社区驱动的实时评估推进大语言模型研究。
EleutherAI：Blog Foundation Model 开发速查表
发布全新资源 FM Dev Cheatsheet，这是一份面向 Foundation Model 开发的实用速查表。该资源旨在为开发者提供基础模型开发全流程的关键参考信息，涵盖架构设计、训练优化及部署等环节的核心要点，帮助快速查阅技术规范与最佳实践，提升开发效率与项目质量。
Anthropic：Transformer CircuitsAI 评分5858 Circuits 更新 — 2024年2月
Anthropic可解释性团队分享了多项研究进展。针对稀疏自编码器训练中普遍存在的“死亡特征”问题，团队发现其根源在于L1正则化过早抑制了特征，并确认这些特征将编码器权重集中在了整个数据集中弱激活的少数Transformer神经元上。团队提出多项架构改进：将Adam优化器的beta1设为0可大幅减少死亡特征；将解码器范数约束为≤1并允许后期剪枝；移除基于合成数据设置的预编码器偏置。此外，团队修正了“幽灵梯度”实现中的一个错误，并指出该技术目前主要对单层模型有明显提升，在更大模型上的效果尚不明确。
Eugene Yan：WritingAI 评分5454 Eugene Yan 详解如何生成合成数据用于微调：蒸馏与自我改进两大路线
Eugene Yan 发表长文，系统梳理用合成数据进行预训练、指令微调和偏好微调的两大路线：从更强模型蒸馏（如 Unnatural Instructions、Alpaca、Orca、WizardCoder）和模型自我改进（如 Self-Instruct、SPIN、ReST^EM、Self-Rewarding、CAI）。
Anthropic：Transformer CircuitsAI 评分6868 2024年1月可解释性研究进展与团队计划
Anthropic可解释性团队分享了2024年1月的多项初步研究想法。团队未来数月将聚焦三个方向：扩展字典学习方法、利用其分析真实模型中的注意力叠加现象，以及在此基础上解析电路机制。报告提及在注意力叠加几何结构上的新发现，例如在仅用两个注意力头表征五个“真实注意力特征”的玩具模型中，混合矩阵呈现出显著的几何结构。此外，团队也探讨了字典学习能否从MNIST模型中提取稀疏特征。这些内容多为初步成果，旨在促进领域内研究者交流。
Eugene Yan：WritingAI 评分5454 Eugene Yan 整理语言建模论文阅读清单，涵盖 Transformer 到 RAG 等 50 余篇基础论文
Eugene Yan 与朋友组建了每周论文俱乐部研读语言建模基础论文，并将一年份的论文清单整理发布，每篇附一句话总结。清单覆盖从 Attention Is All You Need、GPT 系列、Scaling Laws、Chinchilla、LoRA 到 RAG、DPO、CLIP、Whisper 等论文，涉及预训练、微调、检索增强、对齐和多模态等主题，并欢迎通过 PR 补充或纠错。
Hamel Husain 长文AI 评分5959 LLM 微调中的 Tokenizer 陷阱：训练与推理间的 token 漂移如何排查
Hamel Husain 讲解 LLM 微调中 tokenizer 导致的隐性 bug：axolotl 等框架在 token 空间拼接 prompt，而推理服务器按字符串拼装，导致解码看似相同但 token 序列不同，如 'Ok\n<|im_start|>' 在 axolotl 中是 [6504, 13, 32001]，服务器拼装后却是 [6504, 32001]。
EleutherAI：Blog Diff-in-Means Concept Editing 的最坏情况最优性
Sam Marks 与 Max Tegmark 证明 Diff-in-Means Concept Editing 方法在最坏情况下具有最优性。该研究从理论角度确立了这种概念编辑技术的性能边界，表明在面对最具挑战性的干预场景时，该方法能够达到最佳效果，为模型编辑的可靠性提供了严格的数学保证。
LMSYS Blog Chatbot Arena更新：新开源模型领先，评分系统升级
Chatbot Arena平台已收集超13万张投票，对40余个模型进行排名。新加入的Tulu-2-DPO-70B和Yi-34B-Chat在开源模型中领先，性能接近GPT-3.5；基于Mistral的7B模型也展现强劲实力。平台正从Elo评分系统转向Bradley-Terry模型以提升稳定性。数据还显示GPT-4-0314与GPT-4-0613存在显著性能差异，而GPT-3.5-turbo-1106版本出现意外性能下滑。
EleutherAI：Blog 第三届新英格兰 RLHF Hackers 黑客松
第三届新英格兰 RLHF Hackers 黑客松近期举办，集中展示了多个聚焦机器学习与强化学习不同领域的创新项目。重点项目 Pink Elephants Pt 3 采用 ILQL（Inverse Learning from Q-learning）方法，基于标准 trlX 实现框架训练粉色大象模型。主办方鼓励参与者加入 Discord 社区，以获取未来活动更新与更多技术资讯。
LMSYS Blog 服务数千个并发 LoRA 适配器的方案
S-LoRA 是一个专为大规模并发 LoRA 适配器服务设计的系统，通过统一分页技术动态管理 KV 缓存与适配器权重内存以减少碎片，并采用异构批处理优化不同秩的 LoRA 计算。该系统支持张量并行扩展至多 GPU，相比 HuggingFace PEFT 和 vLLM，吞吐量提升最高达 4 倍，可同时服务的适配器数量增加数个数量级。
EleutherAI：Blog 扩展 RoPE
EleutherAI 回顾了过去一年的研究工作，重点总结了在扩展 RoPE（旋转位置编码）方面的技术探索与成果。团队针对位置编码提出了优化方案，改进了旋转位置编码的基数调整与插值方法，显著提升了模型的长上下文处理能力。相关进展为大规模语言模型突破上下文长度限制提供了新的技术路径与实验数据。
LMSYS Blog Catch me if you can！13B模型如何击败GPT-4：Llama-rephraser在MMLU、GSM-8K、HumanEval基准测试中达到GPT-4性能
简单改写或翻译测试集即可让13B模型在MMLU、GSM-8K和HumanEval等基准测试中达到GPT-4性能（MMLU 85.9分），而现有n-gram和嵌入相似度去污染方法完全无法检测此类样本。研究团队推出LLM Decontaminator工具，利用大模型评估潜在改写对，在The Stack、RedPajama等真实数据集中发现显著污染，甚至检测到MATH基准训练-测试集之间的数据重叠。
OpenAI：官网动态AI 评分4848 OpenAI 数据合作伙伴计划：共建开源与私有 AI 训练数据集
OpenAI 启动 Data Partnerships 计划，与各方合作创建用于 AI 训练的开源和私有数据集。该计划旨在为模型训练提供更多数据来源。
LMSYS Blog ToxicChat：真实用户-AI交互场景下的内容审核基准测试
研究团队发布ToxicChat基准测试，包含10,000条真实用户-AI对话数据，用于检测对话系统毒性内容。该数据集从Vicuna和Chatbot Arena平台采集，除常规有害内容外，特别标注了"越狱"诱导攻击样本。通过Perspective API与人工协作标注，团队在保持96.11%一致性的同时减少60%工作量。数据显示真实场景中毒性查询占7.22%，多采用隐含诱导而非直接脏话。该基准已在Hugging Face开源。
EleutherAI：Blog 第二届 New England RLHF Hackers 黑客松
New England RLHF Hackers（NERH）于2023年10月8日在布朗大学举办第二届黑客松。此次活动在首届成功基础上升级，聚焦基于人类反馈的强化学习（RLHF）领域现存挑战，旨在通过协作头脑风暴制定解决方案。该组织主要由 EleutherAI 贡献者及核心成员构成，延续开源协作精神推动 RLHF 技术攻关。
Anthropic：Transformer CircuitsAI 评分5858 迈向单义性：使用字典学习分解语言模型
本研究针对神经网络神经元多义性导致可解释性差的问题，采用稀疏自编码器对单层Transformer中512神经元的MLP层进行字典学习。基于80亿数据点的激活训练，特征数量从512扩展至131,072个。以4096个特征集合（A/1）为重点，通过详细调查和自动化评估，证明大多数特征具有单义性和可解释性，能有效分解MLP激活，为理解神经网络行为提供了新途径。
LlamaIndex：产品、工程与评测AI 评分4545 LlamaIndex 集成 Airbyte 数据源，支持 Gong、Hubspot、Salesforce 等 7 个连接器
LlamaIndex 现已支持直接使用 Airbyte 的 Gong、Hubspot、Salesforce、Shopify、Stripe、Typeform 和 Zendesk Support 数据源，以 data loader 形式实现。
LlamaIndex：产品、工程与评测精选AI 评分7474 LlamaIndex 教程：用合成数据微调嵌入模型提升 RAG 检索性能
LlamaIndex 发布端到端指南，教你在无标注的非结构化语料上用 LLM 生成合成问题对来微调开源嵌入模型 BAAI/bge-small-en。
推荐理由：原文提供了完整的无标注数据微调嵌入模型方法和评测结果，读者可以直接复用笔记本改进自己的 RAG 检索。
LangChain：Blog精选AI 评分6060 LangChain 实战教程：用 LangSmith 微调并评测 LLaMA2-7b-chat 与 gpt-3.5-turbo
LangChain 发布微调与评测指南，用 LangSmith 做数据集管理和评测，在 CoLab 上以 qLoRA 微调 LLaMA2-7b-chat，并用 50 条样本微调 OpenAI 的 gpt-3.5-turbo，测试任务是知识图谱三元组抽取。
推荐理由：原文给出了从数据集管理到评测的完整微调流程和实测分数，读者可以据此判断小模型微调与 GPT-4 few-shot 的取舍。
LangChain：BlogAI 评分4545 LangChain 集成 Airbyte 数据源，支持 7 种连接器作为文档加载器
LangChain 与 Airbyte 合作，将 Gong、Hubspot、Salesforce、Shopify、Stripe、Typeform 和 Zendesk Support 七种 Airbyte 数据源实现为 document loaders，可直接在 LangChain 应用中使用。
LlamaIndex：产品、工程与评测精选AI 评分6262 LlamaIndex 教程：如何微调 Llama 2 用于 Text-to-SQL 应用
LlamaIndex 发布教程，展示如何用 text-to-SQL 数据集微调 Llama 2 并接入 LlamaIndex 对任意 SQL 数据库做结构化分析。
推荐理由：原文给出了微调 Llama 2 做 text-to-SQL 的完整技术栈和前后对比示例，可帮助读者评估微调对结构化分析场景的实际收益。
LangChain：BlogAI 评分5959 LangChain 基准测试 CSV 数据问答：用 OpenAI functions 智能体结合 Python REPL 与检索器
LangChain 发布对 CSV 表格数据问答的基准测试复盘，最终方案是一个使用 OpenAI functions 的智能体，配备 Python REPL 和检索器两个工具。
Eugene Yan：WritingAI 评分6161 Eugene Yan 讲解如何将 LLM 模式匹配到实际问题
Eugene Yan 撰文讲解如何将 LLM 模式匹配到常见问题，先区分外部与内部 LLM、数据型与非数据型模式。
LangChain：BlogAI 评分5252 LangChain 推出 Airbyte 内的 LangChain destination，让数据摄取可用于生产环境
LangChain 宣布与 Airbyte 达成更深度集成，在 Airbyte 中新增 LangChain destination，帮助检索类应用把数据摄取逻辑从原型推进到生产。
LMSYS Blog LMSYS Org 发布 Chatbot Arena 人类偏好数据集
LMSYS Org 发布 Chatbot Arena 两大人类偏好数据集：33K 条真实对话（涵盖 GPT-4、Claude 等 20 个模型）及 3K 条 MT-bench 专家标注。平台上线三个月已收集 19K 独立 IP 的 53K 次投票，覆盖 22 个模型。最新排行榜新增 LLaMA 2、Claude 2 等模型。MT-bench 评估显示人类与 GPT-4 评判一致性超 80%。数据包含真实场景下的模型输出，可用于 RLHF 训练与模型安全研究。
EleutherAI：Blog Minetester：基于 Minetest 构建的完全开放 RL 环境
Minetester 是一个基于开源游戏 Minetest 构建的完全开放强化学习（RL）环境。该项目概述了 Minetest 平台的技术架构及早期开发工作，为研究人员提供了一个代码完全开放、可自由修改的 AI 训练与测试平台，填补了现有 Minecraft 类 RL 环境在开放性方面的空白。
LMSYS Blog 开源 LLM 的上下文长度承诺究竟能兑现多少？
LMSYS Org发布LongChat-7B与LongChat-13B模型，通过压缩旋转位置编码技术将LLaMA的上下文窗口从2K扩展至16K tokens。模型基于8万条（7B）和1.8万条（13B）curated对话数据微调，训练成本分别为300美元与700美元。评估显示，LongChat-13B的长程检索准确率较MPT-7B-storywriter等开源模型提升2倍，在MT-Bench基准测试中表现优异，显著缩小了与Claude-100K、GPT-4-32K等商业长文本模型的差距。
LlamaIndex：产品、工程与评测AI 评分4444 LlamaIndex 与 Weaviate：如何搭建 RAG 技术栈
LlamaIndex 与 Weaviate 组合可搭建 RAG 技术栈：Weaviate 作为向量数据库充当外部存储，LlamaIndex 负责数据管理与编排。
LMSYS Blog Chatbot Arena第8周榜单：推出MT-Bench与Vicuna-33B
Chatbot Arena发布第8周排行榜，新增Vicuna-v1.3系列开源模型（7B-33B参数）及MT-Bench评估基准。MT-Bench包含80道多轮题目，涵盖写作、推理等8类，由GPT-4评分。新榜采用三项指标：基于4.2万匿名投票的Arena Elo、MT-Bench分数及MMLU。结果显示，GPT-4以8.99分和1227分领先，Vicuna-33B获7.12分，性能接近Claude与GPT-3.5-turbo。
Anthropic：Transformer CircuitsAI 评分5858 分布式表征中的组合与叠加
本文探讨了分布式表征中“组合”与“叠加”两个核心概念的关系与权衡。作者认为，传统上被视为从“局部编码”到“分布式编码”的单一谱系，实际上可分解为叠加和组合这两个不同维度。组合式表征通过独立特征（如颜色、形状）的组合来表示对象，能显著提高编码效率；而叠加则允许单个神经元同时参与表示多个特征。两者在泛化能力和线性计算功能上存在根本性张力，无法同时最优。文章借用了Thorpe（1989）的二元神经元编码示例（局部、半局部、半分布式、高分布式）来具体阐述这一观点。
LlamaIndex：产品、工程与评测AI 评分5858 LlamaIndex 与 MongoDB 联合教程：用私有数据构建类 ChatGPT 问答
LlamaIndex 与 MongoDB 联合发布教程，讲解如何用 LlamaIndex 连接私有数据并结合 MongoDB 存储，构建可对自有文档进行英文问答的系统。
Anthropic：Transformer CircuitsAI 评分6363 2023年5月电路研究进展
Anthropic可解释性团队分享了多项关于“叠加”现象的研究思路与初步实验。团队目前正系统性地探索利用字典学习方法，从已训练稠密模型的激活中提取特征，以破解叠加问题，并为此构建了大规模研究基础设施。同时，团队提出了一个概念性框架，将“特征”定义为“激活的最简单分解”，通过在合成数据上测量分解所需的总信息量，初步验证该方法能有效指示真实特征数量。这些工作包含正在进行的研究方向和暂未计划成文的细节，旨在促进与活跃研究者的早期交流。