跳到正文

技术方向

端侧 AI 最新动态

跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。

182 条精选近 30 天 12 条共收录 2,046 条

更新

精选归档 · 第 10 页

12月21日周四第 181–182 条
  1. LlamaIndex：产品、工程与评测71

    LlamaIndex 教程：用 Ollama 本地运行 Mixtral 8x7b 并构建 RAG 应用

    LlamaIndex 发布教程，讲解如何用 Ollama 在本地运行 Mixtral 8x7b 并结合 LlamaIndex 使用。Mixtral 是 Mistral AI 发布的八专家混合模型，各含 7B 参数，博客称其在多项基准上匹敌或超过 GPT-3.5 和 Llama2 70b。

    推荐理由：原文提供从安装到建 API 的完整本地 Mixtral 流程，含代码和硬件要求，读者可以直接照做搭建本地 RAG。

12月1日周四
  1. Hugging Face：Blog76

    如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion

    Hugging Face 与 Apple 合作，将 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 转换为 Core ML 版本并发布在 Hugging Face Hub，可在 Apple Silicon 的 CPU、GPU 和 Neural Engine 上运行。

    推荐理由：Hugging Face 官方整理了 Core ML 版 Stable Diffusion 的下载、Python 与 Swift 推理方法，读者可按机型选变体并迁移到自定义模型。