按该来源的展示范围，站内仅提供摘要。
前往原站阅读（在新标签页打开）Zyphra 发布 ZAYA1-8B：全 AMD 集群训练的 MoE 模型
AI 导读
Zyphra 发布 ZAYA1-8B，一个活跃参数不足 10 亿的 MoE 模型，是首个完全在 AMD Instinct MI300 集群（1,024 个节点，与 IBM 合作构建）上完成预训练、中期训练和监督微调的模型。
Zyphra Research（网页）
精选
67
AI 编辑部评分，满分 100Zyphra 发布 ZAYA1-8B：全 AMD 集群训练的 MoE 模型
Zyphra 发布 ZAYA1-8B，一个活跃参数不足 10 亿的 MoE 模型，是首个完全在 AMD Instinct MI300 集群（1,024 个节点，与 IBM 合作构建）上完成预训练、中期训练和监督微调的模型。
推荐理由
原文给出活跃参数不足 1B 的 MoE 模型在数学和编码基准上的具体成绩，以及全 AMD 集群训练和 Markovian RSA 测试时计算方法。
来源：Zyphra Research（网页）· zyphra.com