公众号正文需在微信内阅读,站内仅提供摘要。
在微信中打开原文(在新标签页打开)美团发布 LongCat-2.0:五万卡国产算力集群训练与推理的万亿参数开源模型
AI 导读
美团6月30日发布并开源万亿参数大模型 LongCat-2.0,总参数1.6T、平均激活约48B,为业界首个在五万卡国产算力集群上完成全流程训练与推理的模型,原生支持1M超长上下文。
公众号:龙猫LongCat(美团)
精选
78
AI 编辑部评分,满分 100美团发布 LongCat-2.0:五万卡国产算力集群训练与推理的万亿参数开源模型
美团6月30日发布并开源万亿参数大模型 LongCat-2.0,总参数1.6T、平均激活约48B,为业界首个在五万卡国产算力集群上完成全流程训练与推理的模型,原生支持1M超长上下文。
推荐理由
在五万卡国产算力集群上稳定训练万亿参数 MoE 并达到前沿编程能力的工程实践,为算力受限场景下的模型架构设计提供了可参照的技术路线。