Hugging Face 发布 Gemma 2 使用指南
Google 推出新的开源大语言模型 Gemma 2,Hugging Face 发布博客介绍相关内容。
技术方向
开放权重、可下载自部署的模型,以及开源框架和 GitHub 上走红的 AI 项目。
742 条精选近 30 天 41 条共收录 3,793 条
Google 推出新的开源大语言模型 Gemma 2,Hugging Face 发布博客介绍相关内容。
LlamaIndex 宣布开源框架 llama-agents 的 alpha 版发布,用于构建和部署生产级多智能体 AI 系统,可将每个 agent 变成独立运行的微服务。
推荐理由:官方发布开源多智能体框架 alpha 版,介绍了微服务架构、编排方式、监控工具和从本地到生产部署的具体用法。
ARC Prize 官方宣布启动一项总奖池超过 $1,000,000 的竞赛,目标是击败 ARC-AGI 评测并开源解决方案,由 Mike Knoop 和 François Chollet 主办。ARC-AGI 于 2019 年推出,当前 SOTA 仅约 34%,对人类容易但现代 AI 极难。官方认为 LLM 依赖记忆而非真正推理,希望通过激励开源研究提升新想法的产生速度。
推荐理由:官方说明了设奖动机和 ARC-AGI 为何未被刷分,读者可以了解百万美元奖金背后的开源 AGI 主张。
Mistral AI 在 la Plateforme 上推出模型定制能力,提供三种微调入口:开源微调 SDK mistral-finetune、la Plateforme 上的 serverless 微调服务,以及面向部分客户的定制训练服务。
推荐理由:原文给出三种微调入口的具体形态、底层 LoRA 技术和适用模型,读者可据此为自建或托管微调选型。
Mistral AI 发布非生产许可证 MNPL,允许开发者将模型用于非商业用途和支持研究工作,商用需另行公平合作,Codestral 即日以该许可证发布。Mistral 表示将继续以 Apache 2.0 发布模型和代码,逐步形成两个许可证家族并存的产品体系。
推荐理由:原文由 Mistral 阐明新许可证的动机与适用范围,读者可以据此理解其开源策略与商业模式之间的划分方式。
Mistral 发布其首个代码生成模型 Codestral,为 22B 开放权重模型,训练覆盖 80+ 编程语言,采用 32k 上下文窗口,并支持 Fill-in-the-middle 补全。
推荐理由:官方发布首次给出模型规模、语言覆盖和专用端点细则,读者可据此评估是否将其接入现有编码工作流。
Mistral 发布开源稀疏混合专家模型 Mixtral 8x22B,总参数 141B,仅激活 39B,上下文窗口 64K tokens,以 Apache 2.0 许可证开放。模型支持英语、法语、意大利语、德语和西班牙语,具备原生函数调用能力,指令版在 GSM8K maj@8 得分 90.8%,Math maj@4 得分 44.6%,现已在 la Plateforme 上提供。
推荐理由:官方发布原文给出了活跃参数、上下文窗口、许可证和基准成绩,读者可以据此评估它在开源模型中的成本与性能定位。
Zyphra 发布 7B 基础模型 Zamba,采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。
推荐理由:官方原文给出架构设计、训练规模和开放 checkpoints 细节,读者可以据此评估 Mamba 混合架构在本地部署上的取舍。
LlamaIndex 发布 v0.10.0,是其 Python 包迄今最大更新。核心变化包括:拆出精简的 llama-index-core 包,数百个集成(150+ 数据加载器。
推荐理由:官方发布说明了包拆分、导入路径变化和迁移工具,正在迁移或维护 LlamaIndex 项目的开发者可以直接对照升级。
Mistral AI 发布开源权重的稀疏专家模型 Mixtral 8x7B,采用 Apache 2.0 许可证,在多数基准上超过 Llama 2 70B 并以 6 倍推理速度匹配或超过 GPT3.5。
推荐理由:官方发布给出基准对比、参数与成本结构和开源部署方案,读者可以据此评估它在开放权重模型中的位置。
LlamaIndex 发布 AutoTranslateDoc,一款命令行工具,可从 GitHub 仓库抓取 .md 和 .mdx 文档,用 GPT-3.5、GPT-4 分块翻译并自动校验后合并输出。
推荐理由:工具通过分块翻译加多重校验来保证文档翻译质量,并支持差量更新,适合需要维护多语言文档的开发者参考。
LlamaIndex 推出 Llama Packs,一个社区驱动的预打包模块合集,用于快速启动 LLM 应用,已在 LlamaHub 上线 16+ 个与 Streamlit、Weaviate、Voyage AI 等伙伴合作的模板。模块可通过 CLI 或 Python 一行代码下载,支持开箱即用运行 RAG 管线,也可查看和修改全部代码,例如将默认 OpenAI LLM 替换为 Anthropic。
推荐理由:原文给出下载方式和代码示例,读者可以据此了解如何用预打包模块快速搭建 LLM 应用并自由定制。
Mistral AI 发布公司宣言并开源首个 7B 参数模型 Mistral 7B,采用 Apache 2.0 协议,在标准英文和代码基准上超越所有现有 13B 以下开源模型。官方称三个月内组建团队并从零搭建 MLOps 栈与数据处理管线,同时开设 GitHub 仓库和 Discord 频道,未来将陆续发布更大模型。
推荐理由:Mistral AI 阐明开源路线并发布首个模型,读者可了解其定位与 Mistral 7B 的实际性能表现。
Mistral AI 发布 7.3B 参数开源模型 Mistral 7B,采用 Apache 2.0 许可证。官方重跑评测显示其在所有基准上超过 Llama 2 13B,在多项基准上超过 Llama 1 34B,代码性能接近 CodeLlama 7B。
推荐理由:官方发布给出了与 Llama 2 全面的对比评测数据和 GQA、SWA 技术细节,模型以 Apache 2.0 开源可商用。
LangChain 发布微调与评测指南,用 LangSmith 做数据集管理和评测,在 CoLab 上以 qLoRA 微调 LLaMA2-7b-chat,并用 50 条样本微调 OpenAI 的 gpt-3.5-turbo,测试任务是知识图谱三元组抽取。
推荐理由:原文给出了从数据集管理到评测的完整微调流程和实测分数,读者可以据此判断小模型微调与 GPT-4 few-shot 的取舍。
Llama 2 发布,可在 Hugging Face 上获取。
Hugging Face 发布教程,讲解如何用其 Transformers 库的 Time Series Transformer 从零训练单变量概率时间序列预测模型,涵盖 GluonTS 数据转换、DataLoader 构建、40 个 epoch 的训练及 generate() 自回归推理。
推荐理由:教程展示了完整的代码训练流程,并在 Monash 基准上给出可对照的 MASE 结果,便于读者迁移到自己的时间序列数据。
Hugging Face 发布 diffusers 0.3,为扩散模型库新增图生图、Textual Inversion、实验性 inpainting、ONNX 导出和 macOS M1/M2 推理支持等功能。优化后 Stable Diffusion 显存占用降至 3.2GB,代价是约 10% 的速度损失;社区还贡献了视频生成、可解释性工具和日语、动漫方向的微调模型。
推荐理由:原文梳理了 diffusers 0.3 的图生图、Textual Inversion、低显存优化等新功能,开源图像工作流的使用者可以对照更新自己的用法。
Hugging Face 与 BigScience 发布 1760 亿参数的开源多语言大模型 BLOOM,支持 46 种自然语言和 13 种编程语言。模型由 70 多个国家、250 多个机构的 1000 多名研究者历时一年协作完成,在法国 Jean Zay 超算上训练 117 天,算力来自 CNRS 和 GENCI 价值约 300 万欧元的资助。
推荐理由:原文来自 BLOOM 团队官方发布,给出了参数规模、语言覆盖、训练成本和开放使用方式,读者可以了解这个开放大模型的实际边界。
Hugging Face 在 Hub 上为模型、数据集和 Spaces 仓库推出 Pull Requests 和 Discussions 功能,位于新的 Community 标签页,任何社区成员均可参与。PR 不使用 fork,而是通过源仓库中称为 refs 的特殊分支实现,Issues 与 PR 不作区分并显示在同一列表,旨在打造比 GitHub 更简化的 ML 协作流程。
推荐理由:原文说明了 PR 与讨论功能的具体机制和与 GitHub 的差异,读者可以据此了解如何参与 Hub 上的模型与数据集协作。