Mistral 与 NVIDIA 联合发布 12B 开源模型 Mistral NeMo

今天，我们很高兴地发布 Mistral NeMo，这是一个与 NVIDIA 合作构建的 12B 模型。Mistral NeMo 提供高达 128k tokens 的大上下文窗口。其推理、世界知识和编码准确性在其规模类别中处于领先水平。由于它依赖标准架构，Mistral NeMo 易于使用，并且可以无缝替换任何使用 Mistral 7B 的系统。

我们已在 Apache 2.0 许可下发布了预训练基础版和指令微调检查点，以促进研究人员和企业的采用。Mistral NeMo 在训练时考虑了量化感知，能够实现 FP8 推理而没有任何性能损失。

下表比较了 Mistral NeMo 基础模型与两个近期开源预训练模型 Gemma 2 9B 和 Llama 3 8B 的准确性。

表 1：Mistral NeMo 基础模型性能与 Gemma 2 9B 和 Llama 3 8B 的对比。

面向大众的多语言模型

该模型专为全球多语言应用而设计。它经过函数调用训练，拥有大上下文窗口，并且在英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语方面尤为强大。这是朝着将前沿 AI 模型以构成人类文化的所有语言带到每个人手中迈出的新一步。

图 1：Mistral NeMo 在多语言基准测试上的表现。

Tekken，一种更高效的 tokenizer

Mistral NeMo 使用了一种新的 tokenizer，Tekken，基于 Tiktoken，它在超过 100 种语言上训练，并且比之前 Mistral 模型中使用的 SentencePiece tokenizer 更高效地压缩自然语言文本和源代码。特别是，它在压缩源代码、中文、意大利语、法语、德语、西班牙语和俄语方面效率提高了约 30%。它在压缩韩语和阿拉伯语方面分别提高了 2 倍和 3 倍。与 Llama 3 tokenizer 相比，Tekken 在约 85% 的所有语言的文本压缩方面表现更出色。

图 2：Tekken 压缩率。

指令微调

Mistral NeMo 经历了先进的微调和对齐阶段。与 Mistral 7B 相比，它在遵循精确指令、推理、处理多轮对话和生成代码方面要好得多。

表 2：Mistral NeMo 指令微调模型准确性。评估使用 GPT4o 作为评判者，基于官方参考。

链接

权重托管在 HuggingFace 上，包括基础版和指令版模型。您现在可以使用 mistral-inference 尝试 Mistral NeMo，并使用 mistral-finetune 对其进行适配。Mistral NeMo 在 la Plateforme 上以 open-mistral-nemo-2407 的名称公开。该模型还打包为 NVIDIA NIM 推理微服务的容器，并可从 ai.nvidia.com 获取。