公众号正文需在微信内阅读,站内仅提供摘要。
在微信中打开原文(在新标签页打开)美团发布并开源万亿参数模型 LongCat-2.0,五万卡国产算力完成全流程训练
AI 导读
美团正式发布并开源万亿参数大模型 LongCat-2.0,总参数 1.6T、平均激活约 48B,在五万卡国产算力集群上完成从预训练到推理的全流程。模型原生支持 1M 超长上下文,预训练数据超 30T tokens;训练月均日故障率降低 70% 以上,训练 MFU 提升 1.5 倍,稳态日吞吐超 1T tokens/day。
公众号:龙猫LongCat(美团)
精选
76
AI 编辑部评分,满分 100美团发布并开源万亿参数模型 LongCat-2.0,五万卡国产算力完成全流程训练
美团正式发布并开源万亿参数大模型 LongCat-2.0,总参数 1.6T、平均激活约 48B,在五万卡国产算力集群上完成从预训练到推理的全流程。模型原生支持 1M 超长上下文,预训练数据超 30T tokens;训练月均日故障率降低 70% 以上,训练 MFU 提升 1.5 倍,稳态日吞吐超 1T tokens/day。
推荐理由
官方披露了国产五万卡集群训练万亿参数模型的稳定性与效率细节,以及多项基准成绩,对国产算力路线有参考价值。
来源:公众号:龙猫LongCat(美团)· mp.weixin.qq.com