技术方向
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
244 条精选近 30 天 11 条共收录 1,935 条
微软 MAI 团队发布七款新 MAI 模型，将通过 OpenRouter、Fireworks、Baseten 向开发者开放，并首次允许开发者自行调整模型权重。官方称基于强化学习环境（RLEs）的 Microsoft Frontier Tuning 可让模型学习企业自身工作流，其针对 Excel 微调的 MAI 模型可匹敌 GPT 5.4 且效率最高提升 10 倍。
推荐理由：微软官方发布七款新 MAI 模型，并给出 Frontier Tuning 微调方案与具体效率数字，读者可据此评估其对企业和开发者工作流的影响。
OpenBMB@OpenBMB精选AI 评分7878推荐理由：面壁开源了两个王炸数据集，预训练的 600B+ token 中文合成数据史上最大，SFT 那边 1500 万条带思考链的指令更是头一回见，做中文基础模型的可以无脑下载了。
英伟达 CEO 黄仁勋在 2026 台北电脑展宣布，下一代 AI 超级芯片平台 Vera Rubin 全面投产。该平台是 POD 级基础架构，与上一代 Grace Blackwell 平台相比，其大规模智能体吞吐量提高了 10 倍。凭借开源 MGX 设计，其供应链规模是 Grace Blackwell 的两倍，产品预计于今年秋季开始发货。
推荐理由：Vera Rubin 全面投产，智能体吞吐量提升 10 倍，供应链规模翻倍，这是英伟达给 AI 算力瓶颈的一记重拳，做智能体应用的同行该开始计划升级硬件了。
Fei-Fei Li@drfeifei精选AI 评分8383我对这个适用于大规模生成模型新时代的视觉生成基准数据集感到非常兴奋！🤩
1/ 介绍 GPIC：一个用于视觉生成的巨型宽松许可图像语料库和基准！ 🚀1 亿 VLM 标注的图像-文本对用于训练 📊100 万图像-文本对用于基准测试 🖼️约 28 万亿像素 🤗集中托管 ✅完全允许用于研究 + 商业用途 数据集、基准和模型🧵👇 与 @KyleSargentAI 共同领导
推荐理由：李飞飞都来站台，这个数据集不简单。完全允许商业用途是关键，对做视觉生成的团队来说，终于有了一个不用再为版权头疼的超级训练库。
面壁智能联合清华大学、OpenBMB发布并开源两大数据集：Ultra-FineWeb-L3（超600B Tokens，中文200B+，为当前最大中文预训练合成数据集）和UltraData-SFT-2605（国内首个千万级同时含深思考与非思考标注的SFT数据集）。两者基于UltraData数据分级治理体系构建，在MiniCPM5-1B训练流程中得到完全验证，覆盖预训练退火到后训练SFT全链路。已上线UltraData网站与HuggingFace，免费开放。
推荐理由：填补了中文大规模合成数据空白，三年前还在用英文数据做中文模型的日子可以翻篇了，做端侧模型的可以直接拿这份数据跑一版 MiniCPM5-1B 级别的效果。
蚂蚁百灵团队提出新激活函数 PowLU，以解决 SwiGLU 在 FP8 等低精度训练中因二次增长放大异常值导致的 Loss Spike 和训练崩溃问题。
推荐理由：用幂函数替代指数项以压制输出范围，避免了 SwiGLU 截断带来的信息丢失，为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。
三星电子宣布已开始向全球主要客户交付业界首批 12 层（12Hi）HBM4E 样品。该内存引脚传输速度稳定在 14Gbps 并可扩展至 16Gbps，较 HBM4 提升 20%，单堆栈带宽达 3.6 TB/s，容量为 48GB。相较 HBM4，其能效提升 16%、热阻特性改进 14%，后续将补充 8Hi 32GB、16Hi 64GB 配置。
推荐理由：三星的HBM4E把单堆栈带宽推到3.6TB/s，能效再提16%，对LLM训练是实打实的硬件升级，做AI基础设施和模型训练的可以关注后续量产时间。
微调测试显示，大语言模型存在一种偏见，即倾向于自信地将虚假陈述表述为真实，即使明确告知其陈述为假。
推荐理由：这项研究让我重新思考幻觉问题的根源——LLM无视「此声明为假」的标签，照样把假话当成真知识，开发者靠标注清洗数据可能根本不够。
Rohan Paul@rohanpaul_ai精选AI 评分8181超级智能将建立在自我改进之上。 今天 @hexoai，我们很高兴发布‘SIA’——一个开源的自我改进 AI，通过递归自我改进来实现任何目标。 在尝试解决一个问题时，SIA 不仅通过更新其 harness 来提升自身能力，它还会更新自己的权重。
推荐理由：不再只是给AI换提示词，SIA框架连模型自己的权重都更新了，在三个任务里分别提升了56%、502%和91%加速，开源出来会让整个Agent开发范式重新思考。
Google在Kaggle举办的Tunix黑客马拉松，挑战开发者利用TPU和有限算力，将小型基础模型转变为通用推理引擎。获胜团队通过多阶段后训练流程实现了这一目标，该流程结合了监督微调（SFT）与GRPO、SimPO等先进对齐技术。比赛结果表明，社区能够借助开源资源成功训练出高能力的结构化推理模型。
推荐理由：Google 官方比赛总结，证明用 Kaggle TPU 和开源工具就能把 Gemma 训练出不错推理能力，对想自己微调模型的小团队是个实用参考。
一项针对1260名定量社会科学家的调查显示，虽然81%的受访者用过AI聊天机器人，但仅有20%将Claude Code、Codex等编码智能体常规应用于工作。采用率存在显著差异：以男性名字命名的研究者使用率是女性研究者的两倍；顶尖大学研究者可能性高出40%。用户产出更多工作论文和基金申请，但这可能反映早期采用者自身差异。研究者对AI助力撰写可发表论文更乐观，但对重塑整个社会科学领域持保留态度。这是一项初步调查，更深入研究仍在进行中。
推荐理由：Anthropic 这份调查把编码代理在社科领域的真实渗透率摸清了，只有 20% 的研究者真在用，而且男女、校际差距比 AI 聊天工具大得多，做学术工具的可以认真看看。
异步强化学习中，训练器每步需将完整模型权重（如1T参数checkpoint约1 TB）传输给推理引擎。TRL新增PR利用相邻RL优化步骤间约99%的bf16权重比特相同的特点，仅将变化的权重编码为稀疏safetensors文件，上传至Hugging Face Bucket并通知vLLM获取。在Qwen3-0.6B上，每步传输从1.2 GB降至20–35 MB。实验还展示了完全分离的训练场景：训练器、vLLM和Wordle环境分别位于不同机器和Hugging Face Space中，权重通过单个Hub bucket流动，无需共享集群、RDMA或VPN。
推荐理由：异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了，带宽直接省了两个数量级，还给了可运行的TRL分支，做RL训练的可以直接上手试。
面壁智能联合清华大学与OpenBMB开源社区发布了ForgeTrain框架。该框架是全球首个完全由AI编写、零人类代码介入的生产级大模型训练框架。面壁智能已使用ForgeTrain在华为昇腾芯片上完成了其新一代「小钢炮」模型MiniCPM5-1B的预训练，其综合性能在AA榜单上位列2B规模以下Top 1。ForgeTrain框架代码及用于制造该框架的Agent Harness工具链已完全开源。
推荐理由：全球首个AI独立编写的训练框架，零人类代码，并且真的在国产芯片上训出了领先模型。'AI造AI'的闭环第一次被完整打通，做模型训练的团队都该去fork一下，复现过程本身就是一堂课。
面壁智能联合清华大学、OpenBMB发布ForgeTrain，全球首个完全由AI编写、零人类代码介入的生产级大模型训练框架。在英伟达H100上训练速度超越Megatron 10%，节省10%算力；在华为昇腾上完整跑通预训练，并训出MiniCPM5-1B模型，综合性能在AA榜单2B规模以下Top1。框架及Agent Harness工具链一并开源。
推荐理由：面壁这波把 AI 写代码从玩具推进到了生产车间，ForgeTrain 跑得比英伟达 Megatron 还快 10%，而且直接在昇腾上训出了 MiniCPM5-1B，国产算力跟 AI 自举这两条线在这一刻交汇了，做训练的可以认真看看。
在数据时代，数据重力是核心力量；而在智能体时代，智能体重力将扮演同样角色。智能体运行需要巨大算力，主要平台将激烈争夺以将其留在自家生态。平台上的智能体与数据越多，其智能体重力就越强。例如，Databricks在微软平台推出的某个功能，虽未明言此目的，却让用户更容易在Databricks中构建智能体，而非微软自家的Fabric。这可能使用户不知不觉间将高价值的智能体及数据工作负载迁移至该平台。因此，赢得并维持智能体重力，将成为智能体时代的核心竞争主题。
推荐理由：Tomer Tunguz 提出「Agent Gravity」概念，把数据平台竞争的逻辑从数据引力延伸到了代理引力，做 Infra 和做 Agent 的人都应该读一读，这可能会影响你对平台锁定的判断。
Ant Ling@AntLingAGI精选AI 评分6868好奇我们万亿级智能体基础模型背后的秘密武器吗？它来了！🥳 去年，我们发布了 IcePop，通过双边掩码来稳定 MoE RL。随着我们深入探索，意想不到的事情发生了：掩码比例下降了，而训练-推理不匹配却持续增长！😞 今年，我们推出 𝑲𝑷𝒐𝒑🪩，它用二元 KL 散度取代固定比例约束，自适应地掩码不合适的 token！掩码比例会随训练过程中训练-推理差距的波动而自适应调整，从而在长时程智能体 RL rollout 中保持策略优化稳定且有效。 通过这一简单改动，它使我们的 Ring-2.6-1T 在纯 RL 训练下于 SWE-bench-Verified 上取得超过 76 的成绩！ 无需修改基础设施。无需 routing replay。只需一个参数，用 𝑲𝑷𝒐𝒑 为你的智能体 RL 赋能！ 点击了解更多细节！ 📜Blog: https://ringtech.notion.site/kpop
推荐理由：蚂蚁团队把 IcePop 升级成 KPop，从固定掩码变成自适应 KL 区域，思路很巧。Ring-2.6-1T 纯 RL 直接冲到 SWE-bench 76+，做 agentic RL 训练的同学值得翻一下博客。
SenseTime@SenseTime_AI精选AI 评分7777推荐理由：商汤把 SenseNova-U1 的训练代码全量开源，支持多模态任务和 MoE，还给了完整的并行策略，做多模态训练的可以直接 fork 过去用，Apache-2.0 很友好。
MiniMax M2系列大语言模型在生成时无法输出稀疏token“嘉祺”（如“马嘉祺”）。内部调查排除tokenizer对齐问题，发现根因是后训练阶段对低频token的生成概率产生抑制。该问题已在后续模型更新中修复，并顺带解决了其他小语种混合问题。
推荐理由：这种官方自己拆自己的技术调查不多见，把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因，做模型训练的可以当案例看。
Datasette Agent是Datasette推出的首个可扩展AI助手，为用户提供对话式界面以查询数据，并支持通过插件生成图表。该工具基于其LLM Python库构建，是LLM与Datasette整合的重要成果。目前提供图表生成、AI图像创建和沙箱代码执行等官方插件。它既可运行于Gemini 3.1 Flash-Lite等云端模型，也支持通过LM Studio连接本地开源模型，具备可靠的工具调用与查询能力。
推荐理由：Simon 终于把 Datasette 和 LLM 接上了，自然语言查 SQL 数据库有了现成方案，插件生态和本地模型支持让这工具的可玩性极高，做数据分析的值得试试。
Krea@krea_ai精选AI 评分6969为 Krea 2（测试版）引入 LoRA。 我们迄今最强大的微调系统；现在你可以用惊人的精度，在 Krea 2 上训练你自己的特定风格、对象或角色。 了解其工作原理 👇
推荐理由：Krea 2 把 LoRA 微调直接做进了产品，对需要固定角色或风格的设计师来说省事了，虽然不是新概念但低门槛就是好文明。