Mistral AI 发布开源模型 Mistral 7B，性能超越 Llama 2 13B

Mistral AI 团队自豪地发布 Mistral 7B，这是迄今为止同规模中最强大的语言模型。

Mistral 7B 简介

Mistral 7B 是一个拥有 73 亿参数的模型，它：

在所有基准测试中均优于 Llama 2 13B

在许多基准测试中优于 Llama 1 34B

在代码方面接近 CodeLlama 7B 的性能，同时在英语任务上表现良好

使用分组查询注意力（GQA）以实现更快的推理

使用滑动窗口注意力（SWA）以更小的成本处理更长的序列

我们根据 Apache 2.0 许可证发布 Mistral 7B，它可以不受限制地使用。

使用我们的参考实现下载并在任何地方（包括本地）使用它，

使用 vLLM 推理服务器和 skypilot 将其部署在任何云上（AWS/GCP/Azure），

在 HuggingFace 上使用它。

Mistral 7B 易于在任何任务上进行微调。作为演示，我们提供了一个针对聊天微调的模型，其性能优于 Llama 2 13B 聊天模型。

详细性能

我们将 Mistral 7B 与 Llama 2 系列进行了比较，并重新运行了所有模型评估以进行公平比较。

Mistral 7B 和不同 Llama 模型在广泛基准测试上的性能。对于所有指标，所有模型均使用我们的评估流程重新评估以进行准确比较。Mistral 7B 在所有指标上显著优于 Llama 2 13B，并与 Llama 34B 相当（由于 Llama 2 34B 未发布，我们报告 Llama 34B 的结果）。它在代码和推理基准测试中也远胜一筹。基准测试按其主题分类：

常识推理：Hellaswag、Winogrande、PIQA、SIQA、OpenbookQA、ARC-Easy、ARC-Challenge 和 CommonsenseQA 的 0-shot 平均。

世界知识：NaturalQuestions 和 TriviaQA 的 5-shot 平均。

阅读理解：BoolQ 和 QuAC 的 0-shot 平均。

数学：8-shot GSM8K 与 maj@8 和 4-shot MATH 与 maj@4 的平均

代码：0-shot Humaneval 和 3-shot MBPP 的平均

流行聚合结果：5-shot MMLU、3-shot BBH 和 3-5-shot AGI Eval（仅英语多项选择题）

一个有趣的指标来比较模型在成本/性能平面上的表现是计算“等效模型大小”。在推理、理解和 STEM 推理（MMLU）方面，Mistral 7B 的表现相当于一个大小超过其 3 倍的 Llama 2。这在内存上节省了大量空间，并在吞吐量上获得了提升。

Mistral 7B 和 Llama 2（7B/13/70B）在 MMLU、常识推理、世界知识和阅读理解上的结果。Mistral 7B 在所有评估中大大优于 Llama 2 13B，除了知识基准测试，两者相当（这可能是由于其有限的参数数量，限制了它可以压缩的知识量）。注意：我们的评估与 LLaMA2 论文的重要差异：

对于 MBPP，我们使用手动验证的子集

对于 TriviaQA，我们不提供维基百科上下文

闪电与狂怒：注意力漂移

Mistral 7B 使用滑动窗口注意力（SWA）机制（Child 等人，Beltagy 等人），其中每一层关注前 4,096 个隐藏状态。主要改进，也是最初研究此机制的原因，是线性计算成本 O(slidingwindow.seqlen)。在实践中，对 FlashAttention 和 xFormers 的更改在窗口为 4k 且序列长度为 16k 时带来了 2 倍的速度提升。非常感谢 Tri Dao 和 Daniel Haziza 在紧张的时间表内帮助包含这些更改。

滑动窗口注意力利用 Transformer 的堆叠层，在窗口大小之外关注更远的过去：第 k 层的 token i 关注第 k-1 层的 token [i-slidingwindow, i]。这些 token 又关注了 token [i-2slidingwindow, i]。更高的层能够访问比注意力模式所显示的更久远的信息。

最后，固定的注意力跨度意味着我们可以将缓存限制为 slidingwindow 个 token 的大小，使用旋转缓冲区（更多内容请参阅我们的参考实现仓库）。在序列长度为 8192 的推理中，这节省了一半的缓存内存，且不影响模型质量。

为聊天微调 Mistral 7B

为了展示 Mistral 7B 的泛化能力，我们在 HuggingFace 上公开可用的指令数据集上对其进行了微调。没有技巧，没有专有数据。由此得到的模型 Mistral 7B Instruct 在 MT-Bench 上超越了所有 7B 模型，并可与 13B 聊天模型相媲美。

Mistral 7B Instruct 模型是一个快速演示，表明基础模型可以轻松微调以达到令人信服的性能。它没有任何审核机制。我们期待与社区合作，探索如何让模型严格遵循护栏，从而能够部署在需要审核输出的环境中。

致谢

我们感谢 CoreWeave 全天候帮助我们调配集群。我们感谢 CINECA/EuroHPC 团队，特别是 Leonardo 的运维人员，感谢他们的资源和帮助。我们感谢 FlashAttention、vLLM、xFormers、Skypilot 的维护者在实现新功能以及将他们的解决方案集成到我们的解决方案中提供的宝贵协助。我们感谢 HuggingFace、AWS、GCP、Azure ML 的团队在使我们的模型在各处兼容方面给予的大力帮助。