返回
精选AI 评分 66/100

Prime Intellect 发布 INTELLECT-1:首个全球分布式训练的 10B 参数模型

Prime Intellect(网页)·2024-11-29 00:00·653天前
AI 导读

Prime Intellect 发布 INTELLECT-1,称其为首个全球协作训练的 10B 参数语言模型,基于 Llama-3 架构在 1T token 上训练 42 天,跨五国三洲最多同时使用 112 张 H100。

Prime Intellect(网页)
精选
66AI 编辑部评分,满分 100

Prime Intellect 发布 INTELLECT-1:首个全球分布式训练的 10B 参数模型

2024-11-29 00:00· 653天前
AI 导读

Prime Intellect 发布 INTELLECT-1,称其为首个全球协作训练的 10B 参数语言模型,基于 Llama-3 架构在 1T token 上训练 42 天,跨五国三洲最多同时使用 112 张 H100。

推荐理由

原文给出分布式训练的关键数字和 PRIME 框架细节,读者可以了解跨洲协作训练 10B 模型的可行性与工程代价。

按该来源的展示范围,站内仅提供摘要。

前往原站阅读(在新标签页打开)

来源:Prime Intellect(网页)· primeintellect.ai