按该来源的展示范围，站内仅提供摘要。
前往原站阅读（在新标签页打开）Zyphra 发布 7B 混合架构基础模型 Zamba
AI 导读
Zyphra 发布 7B 基础模型 Zamba，采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。
Zyphra Research（网页）
精选
61
AI 编辑部评分，满分 100Zyphra 发布 7B 混合架构基础模型 Zamba
Zyphra 发布 7B 基础模型 Zamba，采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。
推荐理由
官方原文给出架构设计、训练规模和开放 checkpoints 细节，读者可以据此评估 Mamba 混合架构在本地部署上的取舍。
来源：Zyphra Research（网页）· zyphra.com