跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

445 条精选近 30 天 30 条共收录 2,757 条

更新

精选归档 · 第 23 页

3月14日周二第 441–445 条
  1. OpenAI:官网动态91

    OpenAI 发布 GPT-4 多模态模型

    OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是接受图像和文本输入、输出文本的大型多模态模型,在多项专业和学术基准上达到人类水平表现,但在许多现实场景中仍不及人类。

    推荐理由:官方原文明确了 GPT-4 的多模态输入形态和基准表现定位,可作为了解该模型能力边界的直接信源。

12月21日周三
11月21日周一
  1. Hugging Face 社区博客66

    Hugging Face 发布 Document AI 实践指南:六大用例与开源模型选型

    Hugging Face 发布 Document AI 指南,梳理 OCR、文档图像分类、版面分析、文档解析、表格识别和 DocVQA 六大用例及对应开源模型与指标。

    推荐理由:原文系统梳理了 Document AI 六类用例及对应开源模型、指标与许可证,团队可直接按图索骥选型并自建方案。

7月12日周二
  1. Hugging Face 社区博客78

    Hugging Face 发布 1760 亿参数开源多语言大模型 BLOOM

    Hugging Face 与 BigScience 发布 1760 亿参数的开源多语言大模型 BLOOM,支持 46 种自然语言和 13 种编程语言。模型由 70 多个国家、250 多个机构的 1000 多名研究者历时一年协作完成,在法国 Jean Zay 超算上训练 117 天,算力来自 CNRS 和 GENCI 价值约 300 万欧元的资助。

    推荐理由:原文来自 BLOOM 团队官方发布,给出了参数规模、语言覆盖、训练成本和开放使用方式,读者可以了解这个开放大模型的实际边界。

1月5日周二
  1. OpenAI:官网动态81

    OpenAI 发布 CLIP:连接文本与图像的神经网络

    OpenAI 推出神经网络 CLIP,能通过自然语言监督高效学习视觉概念。只需提供待识别视觉类别的名称,CLIP 即可应用于任何视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。

    推荐理由:原文说明 CLIP 用自然语言监督学习视觉概念并可零样本套用于分类基准,读者可了解其与 GPT 系列零样本思路的关联。