Mistral 发布 Mamba 架构代码模型 Codestral Mamba

在 Mixtral 系列发布之后，Codestral Mamba 是我们在研究和提供新架构方面迈出的又一步。它可以免费使用、修改和分发，我们希望它能为架构研究开辟新的视角。Codestral Mamba 是在 Albert Gu 和 Tri Dao 的帮助下设计的。

与 Transformer 模型不同，Mamba 模型具有线性时间推理的优势，并且在理论上能够对无限长度的序列进行建模。无论输入长度如何，它都允许用户以快速响应与模型进行广泛交互。这种效率对于代码生产力用例尤其重要——这就是为什么我们训练这个模型具有先进的代码和推理能力，使其能够与基于 SOTA transformer 的模型相媲美。

我们已经在高达 256k tokens 的上下文检索能力上测试了 Codestral Mamba。我们期待它成为一个出色的本地代码助手！

你可以使用 mistral-inference SDK 部署 Codestral Mamba，该 SDK 依赖于 Mamba 的 GitHub 仓库中的参考实现。该模型也可以通过 TensorRT-LLM 部署。对于本地推理，请留意 llama.cpp 中的支持。你可以从 HuggingFace 下载原始权重。这是一个指令模型，拥有 7,285,403,648 个参数。

为了方便测试，我们在 la Plateforme 上提供了 Codestral Mamba（codestral-mamba-2407），与其大姐 Codestral 22B 一同上线。Codestral Mamba 在 Apache 2.0 许可证下提供，而 Codestral 22B 则在商业许可证下提供用于自部署，或在社区许可证下提供用于测试目的。