Mistral 发布开源权重多模态模型 Pixtral Large

Pixtral Large 已不再维护，已被我们最新、更强大的视觉与多模态模型所取代。

探索我们当前的视觉能力

Pixtral Large 简介：

前沿级多模态性能

在 MathVista、DocVQA、VQAv2 上达到最先进水平

在不影响文本性能的前提下扩展 Mistral Large 2

123B 多模态解码器，1B 参数视觉编码器

128K 上下文窗口：至少可容纳 30 张高分辨率图像

使用方式：

在 le Chat 上试用

在我们的 API 中作为 pixtral-large-latest

在此处下载

今天我们宣布推出 Pixtral Large，这是一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型。Pixtral Large 是我们多模态家族中的第二个模型，展现出前沿级别的图像理解能力。特别是，该模型能够理解文档、图表和自然图像，同时保持 Mistral Large 2 领先的纯文本理解能力。

该模型在 Mistral 研究许可证（MRL）下可用于研究和教育用途；在 Mistral 商业许可证下可用于商业目的的实验、测试和生产。

我们通过一个通用测试框架，在一组标准多模态基准上评估 Pixtral Large 与前沿模型的对比。在评估视觉数据上复杂数学推理的 MathVista 上，我们的模型达到 69.4%，优于所有其他模型。为了评估对复杂图表和文档的推理能力，我们使用 ChartQA 和 DocVQA 评估性能，Pixtral Large 在这些基准上超越了 GPT-4o 和 Gemini-1.5 Pro。

Pixtral Large 在 MM-MT-Bench 上也展现出竞争力，优于所有 Claude-3.5 Sonnet（新版）、Gemini-1.5 Pro 和 GPT-4o（最新版）。MM-MT-Bench 是一个开源的、基于评判的评估，旨在反映多模态 LLM 的真实世界用例（详情请参阅 Pixtral 12B 技术报告）。

最后，在 LMSys Vision Leaderboard 上，Pixtral Large 以显著优势成为最佳开放权重模型，比最接近的竞争对手高出近 50 ELO 分。Pixtral Large 还优于许多专有模型，例如 GPT-4o（2024 年 8 月版）。

定性示例

多语言 OCR 与推理……

提示：

我买了咖啡和香肠。我应付多少钱？加上 18% 的小费。

回答：

要计算你应付的总金额，包括 18% 的小费，请按以下步骤操作：

1. 计算咖啡和香肠的费用：

2. 2 杯拿铁玛奇朵：2 4.50 CHF = 9.00 CHF

1 份炸猪排：22.00 CHF

咖啡和香肠的总费用：9.00 CHF + 22.00 CHF = 31.00 CHF

3. 计算 18% 的小费：

4. 小费：31.00 CHF 0.18 = 5.58 CHF

5. 将小费加到总费用中：

6. 应付总金额：31.00 CHF + 5.58 CHF = 36.58 CHF

所以，你总共应付 36.58 CHF。

图表理解……

提示：

dark dragon 是从什么时候开始出问题的？

回答：

"dark-dragon-50" 模型的训练损失在约 10,000 步时开始出现显著不稳定。此时损失值出现明显尖峰，并且不稳定持续存在，在约 20,000 步时又出现另一个大尖峰。这些尖峰表明，"dark-dragon-50" 模型的训练过程从约 10,000 步开始遇到问题。

还有更多……

提示：

哪些公司使用 Mistral AI 制作的模型？

回答：

如图所示，使用 Mistral AI 制作的模型的公司有：

1. BNP Paribas

2. Brave

3. Cloudflare

4. CMA CGM

5. Front

还有一件事……

除了 Pixtral Large，我们的最先进文本模型 Mistral Large 也获得了更新。该模型在我们的 API 上以 pixtral-large-latest 的形式提供，同时也可在 HuggingFace 上以 Mistral Large 24.11 的形式自行部署，用于研究时遵循 Mistral 研究许可证（MRL），或从 Mistral AI 获取商业许可证用于商业用途。

这一最新模型相比之前的 Mistral Large 24.07 提供了显著升级，在长上下文理解、新的系统提示以及更准确的函数调用方面有显著改进。该模型在 RAG 和代理工作流方面能力强大，使其成为企业用例的合适选择，例如知识探索与共享、文档语义理解、任务自动化以及改善客户体验。

Mistral Large 24.11 很快将从我们的云提供商合作伙伴处提供，首先在一周内从 Google Cloud 和 Microsoft Azure 开始。