OpenAI 发布 GPT-4 多模态模型
OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是接受图像和文本输入、输出文本的大型多模态模型,在多项专业和学术基准上达到人类水平表现,但在许多现实场景中仍不及人类。
推荐理由:官方原文明确了 GPT-4 的多模态输入形态和基准表现定位,可作为了解该模型能力边界的直接信源。
技术方向
文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
445 条精选近 30 天 30 条共收录 2,757 条
OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是接受图像和文本输入、输出文本的大型多模态模型,在多项专业和学术基准上达到人类水平表现,但在许多现实场景中仍不及人类。
推荐理由:官方原文明确了 GPT-4 的多模态输入形态和基准表现定位,可作为了解该模型能力边界的直接信源。
Hugging Face 发布教程,讲解如何用 🤗 transformers 运行 CLIPSeg 实现零样本图像分割。
推荐理由:教程结合示例代码讲解 CLIPSeg 的文本与图像提示用法,还给出粗标注后在 Segments.ai 精修的可迁移流程。
Hugging Face 发布 Document AI 指南,梳理 OCR、文档图像分类、版面分析、文档解析、表格识别和 DocVQA 六大用例及对应开源模型与指标。
推荐理由:原文系统梳理了 Document AI 六类用例及对应开源模型、指标与许可证,团队可直接按图索骥选型并自建方案。
Hugging Face 与 BigScience 发布 1760 亿参数的开源多语言大模型 BLOOM,支持 46 种自然语言和 13 种编程语言。模型由 70 多个国家、250 多个机构的 1000 多名研究者历时一年协作完成,在法国 Jean Zay 超算上训练 117 天,算力来自 CNRS 和 GENCI 价值约 300 万欧元的资助。
推荐理由:原文来自 BLOOM 团队官方发布,给出了参数规模、语言覆盖、训练成本和开放使用方式,读者可以了解这个开放大模型的实际边界。
OpenAI 推出神经网络 CLIP,能通过自然语言监督高效学习视觉概念。只需提供待识别视觉类别的名称,CLIP 即可应用于任何视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由:原文说明 CLIP 用自然语言监督学习视觉概念并可零样本套用于分类基准,读者可了解其与 GPT 系列零样本思路的关联。