Mistral AI 发布开源稀疏专家模型 Mixtral 8x7B

Mistral AI 继续其使命，为开发者社区提供最好的开放模型。在 AI 领域向前发展需要采取新的技术转向，而不仅仅是重用众所周知的架构和训练范式。最重要的是，它需要让社区从原创模型中受益，以促进新的发明和用途。

今天，团队自豪地发布 Mixtral 8x7B，这是一个高质量的稀疏专家混合模型（SMoE），具有开放权重。采用 Apache 2.0 许可。Mixtral 在大多数基准测试中优于 Llama 2 70B，推理速度快 6 倍。它是具有宽松许可证的最强开放权重模型，并且在成本/性能权衡方面总体表现最佳。特别是，它在大多数标准基准测试中匹配或优于 GPT3.5。

Mixtral 具有以下能力。

它优雅地处理 32k 令牌的上下文。

它处理英语、法语、意大利语、德语和西班牙语。

它在代码生成方面表现出强大的性能。

它可以微调为指令遵循模型，在 MT-Bench 上达到 8.3 分。

用稀疏架构推动开放模型的前沿

Mixtral 是一个稀疏专家混合网络。它是一个仅解码器模型，其中前馈块从一组 8 个不同的参数组中选择。在每一层，对于每个令牌，路由器网络选择其中两个组（“专家”）来处理令牌，并以加法方式组合它们的输出。

这种技术增加了模型的参数数量，同时控制了成本和延迟，因为模型每个令牌只使用总参数集的一小部分。具体来说，Mixtral 有 46.7B 总参数，但每个令牌只使用 12.9B 参数。因此，它以与 12.9B 模型相同的速度和成本处理输入并生成输出。

Mixtral 是在从开放网络提取的数据上预训练的——我们同时训练专家和路由器。

性能

我们将 Mixtral 与 Llama 2 系列和 GPT3.5 基础模型进行比较。Mixtral 在大多数基准测试中匹配或优于 Llama 2 70B 以及 GPT3.5。

在下图中，我们衡量了质量与推理预算的权衡。与 Llama 2 模型相比，Mistral 7B 和 Mixtral 8x7B 属于高效模型系列。

下表给出了上图中的详细结果。

幻觉和偏见。为了识别可通过微调/偏好建模纠正的可能缺陷，我们测量了 BBQ/BOLD 上的基础模型性能。

与 Llama 2 相比，Mixtral 在 BBQ 基准测试中表现出更少的偏见。总体而言，Mixtral 在 BOLD 上比 Llama 2 表现出更积极的情感，每个维度内的方差相似。

语言。Mixtral 8x7B 精通法语、德语、西班牙语、意大利语和英语。

指令模型

我们与 Mixtral 8x7B 一起发布了 Mixtral 8x7B Instruct。该模型通过监督微调和直接偏好优化（DPO）进行了优化，以仔细遵循指令。在 MT-Bench 上，它达到 8.30 分，使其成为最佳开源模型，性能与 GPT3.5 相当。

注意：Mixtral 可以被优雅地提示禁止某些输出，以构建需要强级别审核的应用程序，如此处所示。适当的偏好调整也可以达到此目的。请记住，如果没有这样的提示，模型将只是遵循给出的任何指令。

使用开源部署堆栈部署 Mixtral

为了让社区能够在完全开源的堆栈上运行 Mixtral，我们向 vLLM 项目提交了更改，该项目集成了 Megablocks CUDA 内核以实现高效推理。

Skypilot 允许在云中的任何实例上部署 vLLM 端点。

在我们的平台上使用 Mixtral。

我们目前在我们的端点 mistral-small 背后使用 Mixtral 8x7B，该端点处于测试阶段。注册以获取所有生成和嵌入端点的早期访问权限。

致谢

我们感谢 CoreWeave 和 Scaleway 团队在我们训练模型时提供的技术支持。