Ai2发布Olmo-core 3开源MoE训练框架

2026年10月1日，Allen Institute for AI（Ai2）发布 Olmo-core 3，这是其大语言模型开发框架的一次重大升级，核心是重新设计的开源混合专家（MoE）训练系统。据 Ai2 介绍，该框架已验证可扩展至万亿参数级别，也是下一代 Olmo 模型的核心训练系统之一。性能方面，在 8 张 NVIDIA B300 GPU 上，47B 参数 MoE 的吞吐达到 52,000 tokens/秒/GPU，约为旧 FSDP 实现的 2.7 倍；专家池从 8 扩展到 128 时，训练吞吐下降不足 5%。同日 Hugging Face 博客亦报道了该发布，同样强调其面向大规模 MoE、目标扩展至万亿参数级别。目前报道仅涵盖发布与上述基准数据，尚无后续跟进报道。

AI 根据报道生成 · 40 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。