Mistral AI 为 le Chat 推出网页搜索、Canvas、文档理解、图像生成与 Agent 功能
Mistral AI 宣布对其免费生成式 AI 助手 le Chat 进行大版本更新，新增带引用的网页搜索、Canvas 协作编辑界面、图像生成和可发布的 Agent 工作流，全部以免费 beta 提供。
推荐理由：官方一次性列出 le Chat 六项新能力和免费 beta 政策，可对照竞品表格判断它在工作流上提供了哪些替代选择。
技术方向
多模态 最新动态
文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
434 条精选近 30 天 27 条共收录 2,632 条
更新
精选归档 · 第 22 页
Mistral AI：News精选AI 评分7272
xAI：News精选 Grok API 公测版发布
xAI 启动 Grok API 公测，发布新模型 grok-beta，支持 128k 上下文、函数调用及系统提示，视觉版本下周上线。开发者每月可获 $25 免费额度至年底，已购预付额度可叠加。API 兼容 OpenAI 与 Anthropic 格式，修改 base_url 即可迁移。
推荐理由：xAI开放Grok API公测，每月送$25额度且兼容OpenAI接口，开发者可立即体验
Mistral AI：News精选AI 评分7373 Mistral 发布开源多模态模型 Pixtral 12B，采用 Apache 2.0 许可
Mistral 发布开源多模态模型 Pixtral 12B，以 Apache 2.0 许可提供，可作为 Mistral Nemo 12B 的直接替换。
推荐理由：官方发布开源多模态模型，给出了架构细节、MMMU 分数和统一评测对比，可作为同规模开源模型选型的参考。
Sam Altman：Blog精选 GPT-4o
OpenAI 将 GPT-4o 向所有 ChatGPT 用户免费开放，无广告。全新语音（及视频）模式响应速度接近人类，表现力极强，被 Sam Altman 称为「用过最好的计算机界面」，像电影里的 AI。未来还将支持个性化、代操作等功能。
推荐理由：Sam Altman 解读 GPT-4o 发布，强调语音交互与免费策略
OpenAI：官网动态精选AI 评分8484 OpenAI 发布旗舰模型 GPT-4o，可实时跨音频、视觉和文本推理
OpenAI 宣布新旗舰模型 GPT-4o（GPT-4 Omni），能够实时地对音频、视觉和文本进行推理。
推荐理由：官方宣布新旗舰模型，明确其实时跨音频、视觉和文本推理的定位，可作为了解该版本核心能力的入口。
xAI：News精选 Grok-1.5 Vision 预览版
xAI 发布 Grok-1.5 Vision 预览版，新增视觉理解能力，可处理图像、图表及文档内容，支持跨模态推理与视觉问答，现面向早期测试者开放试用。
推荐理由：xAI发布Grok-1.5 Vision预览版，具备多模态视觉理解能力
Mistral AI：News精选AI 评分7474 Mistral 发布旗舰模型 Mistral Large，并通过 Azure 提供服务
Mistral 发布最新旗舰模型 Mistral Large，称其在常用基准上仅次于 GPT-4，是通过 API 普遍可用的全球第二大模型。Mistral Large 原生支持英法德西意五种语言，具备 32K token 上下文窗口、function calling 和 JSON 输出模式，可在 la Plateforme 与 Azure 使用。
推荐理由：官方发布公告给出基准对比、多语言能力、API 与 Azure 获取方式，读者可据此评估两个新模型在性能与成本间的取舍。
LlamaIndex：产品、工程与评测精选AI 评分6565 LlamaIndex 推出多模态 RAG 新抽象，支持 GPT-4V 与 CLIP 的图文混合检索
LlamaIndex 发布多模态 RAG 支持能力，新增 OpenAIMultiModal、ReplicateMultiModal、MultiModalEmbedding（CLIP）和 MultiModalVectorStoreIndex 等抽象，可对文本和图像统一索引与检索。
推荐理由：原文由 LlamaIndex 给出多模态 RAG 的新抽象与代码示例，读者可以直接了解 GPT-4V、CLIP 与 Qdrant 在同一管线中的组合方式。
OpenAI：官网动态精选AI 评分8080 OpenAI 宣布 ChatGPT 现在能看、能听、能说
OpenAI 宣布 ChatGPT 新增看、听、说能力。用户可向 ChatGPT 展示图像并进行对话讨论，也可用语音与它交流。
OpenAI：官网动态精选AI 评分9191 OpenAI 发布 GPT-4 多模态模型
OpenAI 发布 GPT-4，称其为扩展深度学习的最新里程碑。GPT-4 是接受图像和文本输入、输出文本的大型多模态模型，在多项专业和学术基准上达到人类水平表现，但在许多现实场景中仍不及人类。
推荐理由：官方原文明确了 GPT-4 的多模态输入形态和基准表现定位，可作为了解该模型能力边界的直接信源。
Hugging Face 社区博客精选AI 评分6161 如何用 Hugging Face Transformers 运行 CLIPSeg 进行零样本图像分割
Hugging Face 发布教程，讲解如何用 🤗 transformers 运行 CLIPSeg 实现零样本图像分割。
推荐理由：教程结合示例代码讲解 CLIPSeg 的文本与图像提示用法，还给出粗标注后在 Segments.ai 精修的可迁移流程。
Hugging Face 社区博客精选AI 评分6666 Hugging Face 发布 Document AI 实践指南：六大用例与开源模型选型
Hugging Face 发布 Document AI 指南，梳理 OCR、文档图像分类、版面分析、文档解析、表格识别和 DocVQA 六大用例及对应开源模型与指标。
推荐理由：原文系统梳理了 Document AI 六类用例及对应开源模型、指标与许可证，团队可直接按图索骥选型并自建方案。
Hugging Face 社区博客精选AI 评分7878 Hugging Face 发布 1760 亿参数开源多语言大模型 BLOOM
Hugging Face 与 BigScience 发布 1760 亿参数的开源多语言大模型 BLOOM，支持 46 种自然语言和 13 种编程语言。模型由 70 多个国家、250 多个机构的 1000 多名研究者历时一年协作完成，在法国 Jean Zay 超算上训练 117 天，算力来自 CNRS 和 GENCI 价值约 300 万欧元的资助。
推荐理由：原文来自 BLOOM 团队官方发布，给出了参数规模、语言覆盖、训练成本和开放使用方式，读者可以了解这个开放大模型的实际边界。
OpenAI：官网动态精选AI 评分8181 OpenAI 发布 CLIP：连接文本与图像的神经网络
OpenAI 推出神经网络 CLIP，能通过自然语言监督高效学习视觉概念。只需提供待识别视觉类别的名称，CLIP 即可应用于任何视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：原文说明 CLIP 用自然语言监督学习视觉概念并可零样本套用于分类基准，读者可了解其与 GPT 系列零样本思路的关联。