Mistral AI 发布首个开源模型 Mistral 7B

生成式 AI，尤其是大型语言模型，正通过根据人类指令生成人类质量的文本、内容和命令，彻底改变内容创作、知识检索和问题解决。未来几年，生成式 AI 将彻底重新定义我们的文化、生活，以及我们与机器和彼此互动的方式。

正如软件发展的早期阶段，专有解决方案首先被开发出来——我们感谢它们向世界展示了生成模型的强大力量。然而，正如 Web、网页浏览器（Webkit）、操作系统（Linux）、云编排（Kubernetes）一样，开源解决方案将迅速在大多数用例中超越专有解决方案。它们将由社区的力量和成功开源项目始终倡导的技术卓越要求所驱动。

在 Mistral AI，我们相信生成式 AI 的开放方法是必要的。社区支持的模型开发是抵御塑造我们未来的技术中的审查和偏见的最可靠途径。

我们坚信，通过训练自己的模型、公开释放它们并促进社区贡献，我们可以构建一个可信的替代方案，对抗新兴的 AI 寡头垄断。开放权重的生成模型将在即将到来的 AI 革命中发挥关键作用。

Mistral AI 的使命是引领开放模型的革命。

生成式 AI 需要开放模型

与开放模型合作是供应商和用户在 AI 解决方案周围构建可持续业务的最佳方式。开放模型可以精细调整以解决所有行业垂直领域的许多新核心业务问题——这是黑盒模型无法比拟的。未来将由许多不同的专业模型组成，每个模型都适应特定任务，尽可能压缩，并连接到特定模态。

在开放模型范式中，开发者完全控制驱动其应用的引擎。模型大小和成本可以调整以适应特定任务难度，从而控制成本和延迟。对于企业来说，使用良好打包的解决方案在自己的基础设施上部署开放模型简化了依赖关系并保护了数据隐私。

封闭和不透明的 API 引入了众所周知的技术责任，特别是知识产权泄露风险；在生成式 AI 的情况下，它引入了文化责任，因为生成的内容完全由 API 提供商控制，定制能力有限。有了模型权重，最终用户应用开发者可以自定义他们想要的护栏和编辑语气，而不是依赖黑盒模型提供商的选择和偏见。

开放模型也将是防止生成式 AI 滥用的宝贵保障。它们将允许公共机构和私营公司审计生成系统的缺陷，并检测生成模型的滥用。它们是我们有效检测虚假信息内容的最强赌注，这些内容的数量在未来几年将不可避免地增加。

Mistral AI 的第一步

我们的目标是成为开放生成式 AI 社区的主要支持者，并将开放模型推向最先进的性能水平。我们将使它们成为大多数生成式 AI 应用的首选解决方案。我们中的许多人在 LLM 发展的重要阶段发挥了关键作用；我们非常兴奋能以面向社区的心态，共同开发新的前沿模型。

在未来几个月里，Mistral AI 将逐步而系统地发布新模型，缩小黑盒解决方案与开放解决方案之间的性能差距——使开放解决方案在越来越多的企业用例中成为最佳选择。同时，我们将努力赋能社区，以改进下一代模型。

作为这项工作的一部分，我们今天发布了 [Mistral 7B]( {{< ref "news/announcing-mistral-7b" >}} )，这是我们首个 70 亿参数的模型，在所有标准英语和代码基准测试上，其表现均优于当前所有可用的、参数量不超过 130 亿的开放模型。这是三个月紧张工作的成果，在此期间我们组建了 Mistral AI 团队，重建了顶级性能的 MLOps 技术栈，并从零开始设计了极为复杂的数据处理流水线。

Mistral 7B 的表现证明了小型模型在拥有足够信念时能够做到什么。追踪在 MMLU 上表现超过 60% 的最小模型很有启发性：两年间，它从 Gopher（280B，DeepMind，2021 年），到 Chinchilla（70B，DeepMind，2022 年），到 Llama 2（34B，Meta，2023 年 7 月），再到 Mistral 7B。

Mistral 7B 只是我们路线图上构建前沿模型的第一步。然而，它已经可以用于解决许多任务：摘要、结构化以及问答等等。它处理和生成文本的速度远快于大型专有解决方案，而运行成本仅为其一小部分。

Mistral 7B 以 Apache 2.0 许可证发布，使其可以在任何地方不受限制地使用。

下一步是什么？

为了积极与我们的用户社区互动，并促进以开源许可证发布的模型和工具得到负责任的使用，我们开设了一个 GitHub 仓库和一个 Discord 频道。这些将提供一个协作、支持和透明沟通的平台。

我们承诺在开发商业产品的同时，发布最强大的开放模型。我们将为本地部署/虚拟私有云部署提供优化的专有模型。这些模型将以白盒解决方案的形式分发，同时提供权重和代码源。我们正在积极开发面向企业的托管解决方案和专用部署。

我们已经在训练更大的模型，并正在转向新颖的架构。敬请期待今年秋季的更多发布。