FlashQLA: 面向GDN的CP-/Bwd友好型融合线性注意力内核
FlashQLA 发布了一组专为梯度下降网络优化的融合线性注意力内核。新内核在设计上对计算模式和后向传播更加友好，旨在提升训练效率。该技术通过优化内核融合策略，改进了注意力机制的计算性能，是提升大规模模型训练速度的关键底层优化。
推荐理由：Qwen 团队发了一篇 fused linear attention 内核的工程论文，目标是把 GDN 架构的推理和反向传播都跑快。做底层优化的工程师值得看一眼，普通开发者可以略过。
技术方向
数据与训练 最新动态
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
244 条精选近 30 天 9 条共收录 1,964 条
更新
精选归档 · 第 9 页
Qwen：Blog Retrieval精选AI 评分5757 Apple Machine Learning Research精选AI 评分6262 LaDiR：潜在扩散模型增强 LLM 的文本推理能力
研究团队提出LaDiR推理框架，将连续潜在表征的表达能力与潜在扩散模型的迭代优化能力相结合，以增强现有大语言模型的推理性能。该框架首先构建一个结构化的潜在推理空间，通过扩散过程对潜在状态进行迭代细化，使模型能够全局性地重新审视和修正推理路径中的早期内容。这种方法突破了传统自回归解码在整体优化和多样化解决方案探索方面的限制，提升了链式思维生成的质量与效率。
推荐理由：Apple 把扩散模型塞进 LLM 推理链，思路很野，用连续潜空间替代自回归 token 生成来解决「写到一半没法回头改」的老毛病。做推理优化或 diffusion 架构的值得细看，但离工程落地还远。
Hugging Face 社区博客精选AI 评分6565 Ecom-RLVE：面向电子商务对话代理的自适应可验证环境
Ecom-RLVE 是一个为电子商务对话代理设计的自适应可验证环境。该环境支持智能体在模拟且可验证的电商场景中进行训练与评估，通过动态调整交互难度和规则约束来提升对话系统的鲁棒性与适应性。其核心在于结合强化学习与验证机制，确保智能体行为既符合商业逻辑又可追溯，为电商对话系统的开发与测试提供标准化、可复现的实验平台。
推荐理由：做电商对话 agent 的可以看看，这个 RL 环境把难控的多轮对话变成了可验证的 reward，还附带了从易到难的课程，开源可跑，是个扎实的工具。
Anthropic：Alignment Science Blog精选AI 评分6565 Anthropic 构建 Automated Weak-to-Strong Researcher，AI 智能体在弱到强监督研究上超越人类基线
Anthropic 团队构建了基于 Claude Opus 4.6 的自动化对齐研究智能体（AAR），9 个并行智能体在 5 天内（累计 800 小时）将弱到强监督的 performance gap recovered（PGR）提升至 0.97，而两位人类作者花 7 天调优四种先前方法的最好成绩仅 0.23，总成本约 18,000 美元。
推荐理由：Anthropic 用实测数字说明自动化对齐研究已可落地，还记录了智能体的 reward hacking 手法与工程经验，方法可迁移。
Nathan Lambert@natolambert精选开源模型成功的核心并非基准分数，而是即时且长期的工具支持与可微调性。Gemma 过去在这些方面表现挣扎，而 Qwen 则表现出色，这才是决定模型成败的关键因素。
引用Interconnects@interconnectsaiGemma 4 以及开源模型成功的要素 提示：不是基准分数。 https://www.interconnects.ai/p/gemma-4-and-what-makes-an-open-model
推荐理由：HF研究员指出开源模型成功关键在工具链与微调支持而非基准分数
Hugging Face 社区博客精选AI 评分8383 以165美元成本训练25个物种的mRNA语言模型：构建从结构预测到密码子优化的AI流程
OpenMed团队构建了一个覆盖蛋白质结构预测、序列设计和密码子优化的端到端AI流程。在密码子优化环节，CodonRoBERTa-large-v2模型以4.10的困惑度和0.40的斯皮尔曼CAI相关性显著优于其他架构。研究将训练扩展至25个物种，仅用55个GPU小时训练了4个生产级模型，并建立了独特的物种条件化系统，实现了从蛋白质概念到合成就绪DNA序列的快速转化。完整代码与实验结果已开源。
推荐理由：低成本开源生物AI管道，可加速蛋白质工程和药物开发。
Google Developers Blog精选AI 评分8181 Boost Training Goodput: 连续检查点功能如何优化 Orbax 和 MaxText 的训练可靠性
Orbax 和 MaxText 引入了连续检查点新功能，旨在优化模型训练中可靠性与性能的平衡。它改变了传统固定频率检查点的模式，通过在前一个保存操作成功完成后才异步启动新操作，最大化I/O带宽并降低故障风险。基准测试表明，该方法显著缩短了检查点间隔，并实现了可观的资源节约，这在平均故障间隔时间较短的大规模训练任务中效果尤为突出。
推荐理由：大规模模型训练的可靠性和效率提升，开发者可优化资源使用。
Hugging Face 社区博客精选AI 评分7070 一日之内构建领域特定嵌入模型
英伟达在Hugging Face平台发布技术博客，分享了一种在24小时内快速构建高质量领域特定嵌入模型的方法。该方法通过结合高效微调技术与领域数据，显著提升了模型在专业任务中的语义理解与检索性能，为企业和开发者提供了低成本、高效率的定制化嵌入解决方案。
推荐理由：一天内搞定领域专属 Embedding 微调，RAG 检索效果可显著提升
Dwarkesh Patel：Podcast & Blog精选 Dylan Patel — 深度剖析 AI 算力扩展的三大瓶颈
Dylan Patel 深度解析了制约 AI 算力规模扩张的三大核心瓶颈：电力基础设施限制、先进制程芯片产能不足以及网络互联带宽瓶颈。尽管 NVIDIA H100 已发布三年，受供需严重失衡及新一代芯片交付延迟影响，其市场价格与战略价值持续攀升，当前实际价值甚至超过发布初期。文章指出，这些结构性约束正重塑 AI 基础设施的投资逻辑与部署节奏。
推荐理由：顶尖硬件分析师拆解AI算力扩张的三大瓶颈，揭示H100为何比三年前更值钱
Answer.AI 官方研发博客精选AI 评分6666 Answer.AI 用 PyPI 数据检验 AI 生产力效应：包创建未见激增，热门 AI 包更新频率翻倍
Answer.AI 分析 PyPI 数据后发现，ChatGPT 发布后 Python 包创建率没有明显上升，整体更新频率的缓慢增长早在 2019 年就已开始。但热门 AI 相关包更新频率跃升至每年 21-26 次中位数，是热门非 AI 包（约 10 次）的两倍多。
推荐理由：原文用 PyPI 数据检验 AI 生产力说法，发现效应集中在热门 AI 相关包，给出两个可检验的解释假设。
Noam Brown@polynoamial精选引用Demis Hassabis@demishassabis十年前，AlphaGo 在首尔的那场传奇对局，宣告了现代 AI 时代的开启。它那著名的"第 37 手"向我们表明，AI 技术已经准备好应对科学等领域的现实问题——而受这些方法启发的思路，对于构建 AGI 至关重要 https://t.co/8EibfAByaG
推荐理由：Meta 研究员揭示推理模型与 AlphaGo 的技术传承，点明 RL 超越模仿的核心路径
OpenAI：官网动态精选 改进前沿 LLM 的指令层级
IH-Challenge 训练模型优先处理可信指令，改进指令层级、安全可控性，并提升对提示词注入攻击的抵抗能力。
推荐理由：OpenAI改进指令层级研究，增强模型抗提示注入攻击能力
Hugging Face 社区博客精选AI 评分8383 Hugging Face Hub 正式推出 Storage Buckets 存储服务
Hugging Face Hub 发布 Storage Buckets，这是一种为机器学习工作流设计的可变、类 S3 的对象存储服务。它基于 Xet 存储后端，能对跨文件共享内容的 ML 工件进行高效去重，从而节省带宽、加速传输并降低存储成本。该服务还提供“预暖”功能，可将数据预先迁移至靠近计算资源的云区域，以提升分布式训练等场景的效率。目前支持 AWS 和 GCP，用户可通过 CLI 或 Python 库在 2 分钟内快速创建和同步存储桶。
推荐理由：ML 开发者可高效管理训练数据和检查点，节省存储成本并加速工作流。
Hugging Face 社区博客精选AI 评分7676 Ulysses Sequence Parallelism: 实现百万令牌上下文的训练
研究团队发布了Ulysses序列并行方法，这是一种用于训练大型语言模型的新技术。该方法通过将长序列在设备间进行特定维度的分割与重组，实现了对极长上下文的并行处理。其核心变化在于能高效训练上下文长度高达百万令牌的模型，突破了现有方法在序列长度上的扩展瓶颈。这一进展使得在保持高训练效率的同时，处理书籍、长文档等超长文本成为可能，为推进AI的民主化与开源发展提供了关键技术支撑。
推荐理由：百万 token 训练的序列并行方案，长上下文模型训练的关键工程突破
Hugging Face 社区博客精选AI 评分7070 PRX 第三部分 —— 24小时内训练一个文本到图像模型！
Photoroom团队在Hugging Face上发布博客，宣布成功在24小时内完成一个文本到图像模型的训练。这一突破将此类模型的典型训练周期从数周大幅缩短至仅一天。实现的关键在于采用了名为PRX的高效训练方法，该方法优化了计算资源分配与数据处理流程。此举显著降低了模型训练的时间与成本门槛，为快速迭代和部署高质量的图像生成AI模型提供了新的可能性。
推荐理由：Photoroom 分享 24h 内训练文生图模型的实战路径，想快速复现的团队可直接参考
Cognition 模型 / Devin 博客精选AI 评分6060 Cognition 发布 SWE-1.6 早期预览并分享 RL 训练研究进展
Cognition 发布 SWE-1.6 早期预览，当前 checkpoint 在 SWE-Bench Pro 上比 SWE-1.5 高 11%，达到 51.7%，速度同为 950 tok/s，并向小部分用户开放早期访问。
推荐理由：官方给出 SWE-1.6 预览版成绩与 RL 训练细节，并提出基准之外的 Model UX 问题，对做智能体训练的人有参考价值。
Jim Fan@DrJimFan精选
推荐理由：人类视频学习呈现完美缩放定律，机器人仅需单演示即可掌握新技能，具身智能迎来数据革命
Nathan Lambert：Interconnects精选 蒸馏对中国 LLM 到底有多重要？
针对 Anthropic 关于"蒸馏攻击"的最新论述，分析模型蒸馏技术对中国大语言模型的实际影响。探讨通过蒸馏 GPT、Claude 等模型来训练中国 LLM 的效果与争议，评估该方法在提升模型性能与降低训练成本方面的作用，以及可能引发的知识产权与安全问题。
推荐理由：技术权威视角拆解'蒸馏攻击'，厘清中国大模型能力来源争议
Liquid AI 模型与工程博客精选AI 评分6464 Liquid AI 发布早期检查点 LFM2-24B-A2B，24B 总参数仅 2.3B 激活
Liquid AI 发布 LFM2 系列最大模型 LFM2-24B-A2B 的早期检查点，为 MoE 架构，24B 总参数、每 token 约 2.3B 激活，可放进 32GB 内存部署于云端和边缘设备。
推荐理由：官方给出架构配方和与 Qwen3、gpt-oss 的吞吐对比，读者可以据此评估这款 24B MoE 在笔记本和边缘部署上的实际可行性。
Together AI 研究与产品博客精选AI 评分6363 Together AI 发布 SF Streets 基准，揭示语音模型街名转写错误率达 39% 并用跨语言风格迁移降低 60% 错误
Together AI 发布 SF Streets 与 US Streets 两项基准，测试 15 个先进 ASR 模型在街名转写上的表现，发现平均错误率达 39%，非英语母语者准确率比英语母语者低 18 个百分点（46% vs 64%）。
推荐理由：原文用自建基准量化了 ASR 在街名转写上的短板，并给出可复用的合成数据改进方法，对语音部署有直接参考价值。