如何用 Sentence Transformers 构建歌单生成器
作者用 Sentence Transformers 的语义搜索功能构建了一个歌单生成器,将歌词按段落切分并嵌入,再根据文本提示检索最相关的歌曲,并用 Gradio Blocks API 搭建多步交互演示,部署在 Hugging Face Spaces 上。
作者用 Sentence Transformers 的语义搜索功能构建了一个歌单生成器,将歌词按段落切分并嵌入,再根据文本提示检索最相关的歌曲,并用 Gradio Blocks API 搭建多步交互演示,部署在 Hugging Face Spaces 上。
Hugging Face 与 BigScience 发布 1760 亿参数的开源多语言大模型 BLOOM,支持 46 种自然语言和 13 种编程语言。模型由 70 多个国家、250 多个机构的 1000 多名研究者历时一年协作完成,在法国 Jean Zay 超算上训练 117 天,算力来自 CNRS 和 GENCI 价值约 300 万欧元的资助。
推荐理由:原文来自 BLOOM 团队官方发布,给出了参数规模、语言覆盖、训练成本和开放使用方式,读者可以了解这个开放大模型的实际边界。
Hugging Face 发布入门教程,讲解如何用 Inference API 对 Twitter 推文做情感分析,分 coder 与非 coder 两条路径。
推荐理由:教程同时给出代码和无代码两条路径,用 Tweepy 加 Inference API 分析 Notion 相关推文,方法可直接复用到其他品牌。
Hugging Face 深度强化学习免费课程第 5 单元讲解 Policy-Gradient 方法,是课程首个 Policy-Based 方法。
Hugging Face 发布入门指南,以 Sentence Transformers(ST)为例讲解如何从零启动第一个机器学习项目。ST 可将句子、段落和图像转为嵌入向量,并通过 util.cos_sim 计算余弦相似度,支持语义搜索、聚类和模型蒸馏等任务。该库在 GitHub 已获近 8,000 stars,超过 3,000 个项目和包依赖它。
Hugging Face 发布博客教程,介绍如何用 Accelerate 库利用 DeepSpeed 的 ZeRO 特性训练大模型,多数场景无需改动代码。
Hugging Face 推出 Evaluation on the Hub,一个由 AutoTrain 驱动的新工具,无需写代码即可在 Hub 上用任意数据集和指标评估任意模型。
Hugging Face 发布嵌入入门教程,讲解嵌入如何以数值向量表示文本、图像等信息的语义,并用 Sentence Transformers 的 sentence-transformers/all-MiniLM-L6-v2 模型(输出 384 维向量)对 13 条美国 Medicare FAQ 生成嵌入。
教程以 distilbert-base-uncased-finetuned-sst-2-english 文本分类模型为例,介绍三种将 Hugging Face Transformers 模型转换为 ONNX 的方法。
Intel 正式加入 Hugging Face 硬件合作伙伴计划,双方基于 Optimum 开源库合作构建针对 Intel 平台的 Transformer 训练、微调和推理加速工具。
Hugging Face 发布教程,基于 Ho et al. 2020 的 DDPM 论文和 Phil Wang 的实现,用 PyTorch 逐步拆解并实现去噪扩散概率模型。
推荐理由:原文从数学推导到完整 PyTorch 代码逐段拆解 DDPM,读者可以照此动手实现一个可训练的扩散模型。
Hugging Face 深度强化学习课程第三单元讲解 Deep Q-Learning,用神经网络替代 Q-table 来逼近 Q 值,并训练智能体玩 Space Invaders 等 Atari 游戏。
Hugging Face 在 Hub 上为模型、数据集和 Spaces 仓库推出 Pull Requests 和 Discussions 功能,位于新的 Community 标签页,任何社区成员均可参与。PR 不使用 fork,而是通过源仓库中称为 refs 的特殊分支实现,Issues 与 PR 不作区分并显示在同一列表,旨在打造比 GitHub 更简化的 ML 协作流程。
推荐理由:原文说明了 PR 与讨论功能的具体机制和与 GitHub 的差异,读者可以据此了解如何参与 Hub 上的模型与数据集协作。
Hugging Face 深度强化学习课程发布 Unit 2 第二部分,讲解 Q-Learning 算法、Q-Function 与 Q-Table,以及 Epsilon Greedy 策略和 TD 更新,并区分 off-policy 与 on-policy。
推荐理由:课程官方教程用迷宫示例逐步拆解 Q-Learning 算法和 Q 表更新,读者可跟着 Colab 从零实现第一个 RL 智能体。
Hugging Face 深度强化学习免费课程第 2 单元第 1 部分讲解 value-based 方法、State-Value 与 Action-Value 函数及 Bellman 方程。
Hugging Face 发布 Gradio 3.0,对库进行了彻底重构设计。前端改用 Svelte 等现代技术带来更小的载荷和更快的页面加载,组件更新增 Gallery 和 TabbedInterface;新推出的 Gradio Blocks 低阶 API 支持在 Python 中自定义布局、多步骤数据流和组件属性动态控制。
推荐理由:Hugging Face 官方说明 Gradio 3.0 的前端重构与 Blocks 低阶 API,读者可以判断新布局与数据流控制对模型演示的实际影响。
Hugging Face 发布 Optimum 1.2,为 Optimum 增加推理支持和 transformers pipelines 集成,目前基于 ONNX Runtime。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 重点参与。平台目前托管 100,000 个预训练模型和 10,000 个数据集,超过 10,000 家公司在使用;新资金将用于加大研究、开源产品和负责任 AI 民主化的投入,团队过去 12 个月从 30 人扩展到 120+ 人。
推荐理由:官方宣布融资并给出平台规模数据,读者可据此了解其开源生态与后续投入方向。
Hugging Face Hub 现已集成 fastai,开发者用一行 Python 即可上传和分享 fastai 模型。需安装 fastai>=2.4、fastcore>=1.3.27 和 toml,通过 push_to_hub_fastai 上传 Learner,再用 from_pretrained_fastai 加载,Hub 提供基于 git 的版本控制和自动生成的 model card。
Hugging Face 发布免费课程 Deep Reinforcement Learning Class 的第一章,讲解强化学习基础概念,包括 RL 流程、奖励假设、折扣奖励、探索与利用权衡,以及 Policy-Based 和 Value-Based 两类求解方法。
Hugging Face 发布教程,介绍如何通过 Accelerate 库无需改代码即可使用 PyTorch FullyShardedDataParallel(FSDP)训练大模型。
HuggingFace AutoTrain 与数据标注平台 Kili 可组合成一套主动学习流水线,用于文本分类:在 Kili 中标注数据、迭代重训模型。AutoTrain 已自动化数据清洗、模型选择与超参数优化,支持二分类与多标签文本分类、token 分类、抽取式问答、摘要和文本打分,并覆盖英语、德语、法语、西班牙语、芬兰语、瑞典语、印地语、荷兰语等语言。
Hugging Face 发布教程,演示如何在 AWS EC2 DL1 实例(搭载 8 颗 Habana Gaudi 处理器)上微调 bert-large-uncased-whole-word-masking 模型,用于 GLUE 的 MRPC 任务。
Hugging Face 发布教育计划,目标在 2023 年底前教会 500 万人机器学习。该计划面向所有人、初学者和教师三类群体,提供 NLP、深度强化学习、Gradio 演示构建等免费课程,以及已翻译成 8 种语言的教师工具包。此前 2022 年 3 月的 ML demo.cratization tour 已为 16 个国家超 1000 名学生授课。
Hugging Face 工程师 Patrick von Platen 发布教程,将过滤最不满意客户消息建模为 5 类文本分类任务,选用 amazon_reviews_multi 数据集微调 microsoft/deberta-v3-base。
Hugging Face 发布教程,讲解如何使用 Transformers 库对 ViT 进行微调以完成图像分类任务。
Hugging Face 官方博客宣布 Gradio 加入 Hugging Face。正文抓取失败,仅标题可用,暂无更多细节。
Hugging Face 发布 Spaces 功能,用户可以在其中使用 Gradio 展示自己的项目。正文抓取失败,仅标题可用,更多细节以原文为准。
Hugging Face 发布博客,介绍如何通过 DeepSpeed 和 FairScale 使用 ZeRO,实现装下更多数据并更快训练。正文抓取失败,仅标题可用。
Hugging Face 发布教程,讲解在 Transformers 中使用不同解码方法进行语言生成。文章覆盖多种 decoding 方法的选择与使用方式,原文正文未能抓取,仅标题可用。
推荐理由:原文系统讲解 Transformers 中不同文本解码方法的用法与差异,读者可按需选择生成策略。
Hugging Face 博客发布教程,讲解如何使用 Transformers 和 Tokenizers 从零训练一个新的语言模型。