Hugging Face 发布 Document AI 实践指南:六大用例与开源模型选型
Hugging Face 发布 Document AI 指南,梳理 OCR、文档图像分类、版面分析、文档解析、表格识别和 DocVQA 六大用例及对应开源模型与指标。
推荐理由:原文系统梳理了 Document AI 六类用例及对应开源模型、指标与许可证,团队可直接按图索骥选型并自建方案。
Hugging Face 发布 Document AI 指南,梳理 OCR、文档图像分类、版面分析、文档解析、表格识别和 DocVQA 六大用例及对应开源模型与指标。
推荐理由:原文系统梳理了 Document AI 六类用例及对应开源模型、指标与许可证,团队可直接按图索骥选型并自建方案。
Hugging Face 与 arXiv 合作,通过 arXivLabs 在论文摘要页新增 Demos 标签,链接到社区或作者创建的开源 demo。用户可在 BERT 等论文页面直接找到 200 多个社区 demo,无需写代码即可在浏览器中试用。
Hugging Face 发布教程,演示如何用 Concrete-ML 在全同态加密(FHE)下对加密文本做情感分析:先提取 transformer 隐藏表示,再用 XGBoost 训练分类器并编译为 FHE 模型。
Hugging Face 宣布 Contrastive Search 解码方法已在 transformers 4.24.0 中可用,支持 PyTorch 和 TensorFlow。
Hugging Face 更新定价体系,宣布逐步停止 Inference API 付费层,该 API 仍免费开放,企业级推理需求转向新推出的 Inference Endpoints。Spaces 新增硬件升级选项,使用这些服务无需订阅,只需在账单设置中绑定信用卡,所有付费服务用量在每月月初计费并提供合并账单。
Hugging Face 发布教程,基于多组实验总结用 Dreambooth 微调 Stable Diffusion 的推荐设置,并提示 🧨 Diffusers 提供官方训练脚本。
推荐理由:原文基于多组实验给出 Dreambooth 微调 Stable Diffusion 的超参数建议,可帮助读者降低过拟合并提升生成质量。
Hugging Face 发布使用 🤗 Transformers 对 Whisper 进行多语言语音识别(ASR)微调的分步教程。
推荐理由:完整给出从数据准备到训练和 Gradio 演示的代码流程,仅用 8 小时印地语数据把 WER 从 63.5% 降到 32%,方法可直接迁移到其他语言。
Hugging Face 将 Intel OpenVINO 集成进 Optimum Intel,用户可在多种 Intel 处理器上用 OpenVINO Runtime 对 Transformers 模型执行推理,模型可托管于 Hugging Face hub 或本地。
Hugging Face 为 🤗 Evaluate 库新增偏见度量与测量功能,用于评估 GPT-2、BLOOM 等因果语言模型的偏见。工作流分两步:用 🤗 Datasets 上的预定义提示词引导模型生成文本,再用 🤗 Evaluate 的指标评估生成结果,示例覆盖毒性、语言极性和伤害性三类任务。
Hugging Face 发布教程,以 MNIST 训练示例讲解三种抽象层级的分布式数据并行训练:PyTorch 原生 torch.distributed 与 DDP、Accelerate 的轻量封装、Transformers 的 Trainer API。
推荐理由:教程用同一个 MNIST 示例逐级展示三种分布式训练写法,读者可以按抽象层级选择适合自己项目的方案。
Hugging Face 发布 MTEB(Massive Text Embedding Benchmark),用于衡量文本嵌入模型在多类任务上的表现,排行榜已汇总超过 2000 条结果。
推荐理由:原文给出 56 个数据集、8 类任务、112 种语言的嵌入模型评测结果和模型选择分组,可用于按任务挑合适的嵌入模型。
Hugging Face 发布 Inference Endpoints 服务,可将 Hub 上的模型几步内部署到托管云基础设施。
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax,官方博客教程演示如何用 JAX/Flax 在 Google TPU 上运行 Stable Diffusion 推理。
推荐理由:Hugging Face 官方教程,演示在 TPU 上用 JAX/Flax 跑 Stable Diffusion,8 卡并行约 7 秒生成 8 张图,可直接复现。
Hugging Face 发布博客复盘 BLOOM(176B 参数、bf16 下 352GB)推理服务的优化过程,数周内实现延迟降低 5 倍、吞吐提升 50 倍。
Hugging Face 宣布用户可直接在 Hub 上为模型或数据集生成 DOI(数字对象标识符)。该功能与 DataCite 合作实现,在仓库设置中即可申请,他人可通过模型或数据集页面的 Cite 按钮引用;DOI 绑定元数据且提供永久链接,版本更新后 DOI 可同步更新,带 DOI 的对象将长期保留,删除需向支持团队提交请求。
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion,可理解日语固有词汇、拟声词与专有名词并生成日式风格图像。
Hugging Face 宣布 Evaluation on the Hub 支持对 Hub 上任意 causal language model 做零样本评测,由 AutoTrain 驱动、无需写代码且免费。
Hugging Face 宣布 AutoTrain 新增图像分类任务,用户无需写代码或配置即可训练图像分类模型。流程为在 AutoTrain 创建项目、上传或选择 Hub 数据集、设定候选模型数量后开始训练;用 5 个候选模型训练少于 500 张图片免费。
Hugging Face 发布博客讲解 Accelerate 如何加载和运行超出单机内存的超大模型。核心做法是用 PyTorch meta device 创建空模型、用 infer_auto_device_map 自动计算 GPU、CPU 与磁盘的设备分配,并按分片加载权重,通过 hooks 在每次前向传播前后搬运权重。
推荐理由:原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。
Hugging Face 与 Intel Labs、UKP Lab 发布少样本学习框架 SetFit,无需提示词即可微调 Sentence Transformer 做文本分类。
推荐理由:原文给出 SetFit 在少样本文本分类上的具体对比数字和训练成本,读者可以据此评估小样本场景下是否用它替代大模型微调。
Hugging Face 发布教程,展示如何用 DeepSpeed 和 Accelerate 高速运行 176B 参数的 BLOOM 模型推理。
Hugging Face 发布 diffusers 0.3,为扩散模型库新增图生图、Textual Inversion、实验性 inpainting、ONNX 导出和 macOS M1/M2 推理支持等功能。优化后 Stable Diffusion 显存占用降至 3.2GB,代价是约 10% 的速度损失;社区还贡献了视频生成、可解释性工具和日语、动漫方向的微调模型。
推荐理由:原文梳理了 diffusers 0.3 的图生图、Textual Inversion、低显存优化等新功能,开源图像工作流的使用者可以对照更新自己的用法。
Hugging Face 发布教程,教读者从零训练一个离线 Decision Transformer 模型,让 MuJoCo HalfCheetah 环境中的半猎豹跑起来。
Hugging Face 博客发布教程,讲解如何在 NVIDIA GPU 上用 Megatron-LM 预训练 GPT2 模型,并以 110M 参数的 CodeParrot 为例给出环境搭建、数据预处理、8 卡训练(约 12 小时)到权重转换为 transformers 格式的完整流程。
Hugging Face 员工 Carlos Muñoz Ferrandis 撰文介绍 OpenRAIL(开放且负责任的 AI 许可证)框架,主张其为 ML 领域设计专属许可机制。
Hugging Face 发布教程,介绍如何用 3Dmol.js 和 Gradio 的 HTML block 在 Hugging Face Spaces 中可视化蛋白质结构。该方案通过 iframe 嵌入 3Dmol.js,支持输入 4 位 PDB 代码或上传 PDB 文件,从 RCSB 获取结构并渲染。文中还提到可用 Molecule3D Gradio 自定义组件简化这一流程。
Hugging Face 发布教程,讲解如何用 🧨 Diffusers 库运行 CompVis、Stability AI 和 LAION 推出的文生图模型 Stable Diffusion v1-4。
推荐理由:来自 Diffusers 团队的第一手教程,同时讲清 latent diffusion 三大组件原理,代码示例可直接复用于文生图管线。
Hugging Face 发布教程,讲解如何在 AWS DL1 实例上用 Habana Gaudi 从零预训练 BERT-base,使用 Transformers、Optimum Habana 和 Datasets 库,通过 masked-language modeling 完成训练。
Hugging Face 发布教程,讲解如何将 🤗 Transformers 的 ViT B/16 TensorFlow 模型部署到 Google Cloud Vertex AI,相比 Kubernetes 部署可用更少代码达到同等扩展性。
Hugging Face 与 bitsandbytes 合作,将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库,使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。
推荐理由:文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。
Hugging Face 阐述了其 transformers 库在 TensorFlow 上的设计理念:所有 TensorFlow 模型都是 Keras Model 对象,所有层都是 Keras Layer 对象,用户可直接调用 fit()、compile() 和 predict()。库通过 TFAutoModel 等类一行代码加载预训练模型,并配合 AutoTokenizer 完成匹配的预处理。
Hugging Face 发布开源库 Skops,可将 scikit-learn 模型托管到 Hugging Face Hub 并生成模型卡。
Hugging Face 发布教程,讲解如何用 TensorFlow Serving 将 Transformers 的 Vision Transformer 模型从本地部署扩展到 Kubernetes 集群。
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization(PPO),核心是通过比率裁剪将策略更新限制在 [1−ϵ,1+ϵ] 区间以提升训练稳定性,论文中 ϵ=0.2。
Hugging Face 推出 Private Hub(PH),为机器学习全生命周期提供统一工具,让团队以安全合规的方式协作开发与部署模型。PH 以拥有 60K+ 模型、6K 数据集和 6K 演示应用的 Hugging Face Hub 为核心,支持基于 Git 的模型、数据集与 Spaces 版本管理,以及组织账号和权限控制。
Hugging Face 博客介绍了 Nyströmformer,一种用 Nyström 方法近似标准自注意力的高效 Transformer,将时间和内存复杂度从 O(n²) 降至 O(n)。
Hugging Face 为 🤗 Datasets 补充了音频和图像数据集的文档,Quickstart 新增端到端加载与处理示例,并引入 to_tf_dataset 函数,可将数据集转换为 tf.data.Dataset 供 TensorFlow 或 Keras 训练。
Hugging Face 宣布 🤗 transformers 的 TensorFlow 文本生成现可通过 XLA 编译加速,某些场景提速超过 100 倍,在多数基准中比 PyTorch 更快,最高快达 9 倍。
推荐理由:Hugging Face 官方讲解如何用 jit_compile=True 加速 TensorFlow 文本生成,给出编译缓存机制、padding 技巧和实测数据,方法可直接复用。
Hugging Face 团队发布教程,演示如何用 TensorFlow Serving(TF Serving)在本地部署 Transformers 中的 Vision Transformer(ViT)图像分类模型,使模型可通过 REST 或 gRPC 端点调用。
Hugging Face 发布长文详解 176B 参数模型 BLOOM 的训练技术,训练在 Jean Zay 超算上使用 384 张 NVIDIA A100 80GB GPU,耗时约 3.5 个月、约 100 万计算小时。