如何用 Ollama 在本地运行 gpt-oss
OpenAI 开发者发布教程，讲解如何用 Ollama 在本地硬件上部署 gpt-oss-20b 或 gpt-oss-120b 并选择合适的推理设置。
推荐理由：来自 OpenAI 开发者官方的实操指南，读者可按步骤在自己硬件上用 Ollama 跑通 gpt-oss 两个规格模型。
技术方向
端侧 AI 最新动态
直接跑在手机、电脑等设备上的 AI：小模型、在本机运行模型的工具与端侧芯片。
173 条精选近 30 天 22 条共收录 1,909 条
更新
精选归档 · 第 9 页
OpenAI Developers精选AI 评分7979
Liquid AI 模型与工程博客精选AI 评分6666 Liquid AI 发布端侧基础模型 LFM2，含 0.35B/0.7B/1.2B 三个规格
Liquid AI 发布新一代基础模型 LFM2，主打端侧部署，在 CPU 上解码与 prefill 速度最高达 Qwen3 的 2 倍，训练效率较上一代提升 3 倍。
推荐理由：官方发布端侧模型系列，给出与 Qwen3 等同尺寸模型的速度和基准对比数据，适合关注本地部署选型的读者参考。
Hugging Face 社区博客精选AI 评分8181 Gemma 3n 开源生态全面可用，发布 E2B 和 E4B 两种尺寸
Gemma 3n 在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama 和 Google AI Edge 等开源库中全面可用，发布 gemma-3n-E2B 和 gemma-3n-E4B 两个尺寸，各有 base 与 instruct 变体。
推荐理由：原文给出 E2B/E4B 的显存占用、架构细节和各库用法与微调入口，读者可以直接照着跑起来。
Google DeepMind：Blog精选 Gemini Robotics On-Device 将 AI 引入本地机器人设备
Gemini Robotics On-Device 推出高效端侧机器人模型，具备通用灵巧操作与快速任务适应能力，支持本地设备直接部署运行。
推荐理由：DeepMind 发布端侧机器人模型，支持本地部署与快速任务适应
Google DeepMind：Blog精选 Gemma 3n 预览版发布：强大、高效、移动优先的 AI
Gemma 3n 预览版发布，专为移动设备优化的开源多模态模型。采用 2-in-1 架构，支持音频理解，适用于实时交互和音频中心应用开发。
推荐理由：Google 发布端侧多模态模型 Gemma 3n，支持音频理解，面向移动设备优化
Hugging Face 社区博客精选AI 评分6464 TII 发布 Falcon-Edge 系列 1.58bit BitNet 语言模型，含 1B 和 3B 两种规格
TII 的 Falcon-Edge 系列基于 BitNet 架构，以三值权重 {-1, 0, 1} 直接预训练，提供 1B 和 3B 两种参数规格，各含 base 和 instruct 版本，模型在约 1.5 Tera Tokens 的内部数据混合上预训练。
推荐理由：原文解释了 BitNet 三值权重的训练范式和微调路径，读者可以据此判断 1.58bit 模型在端侧部署的适用性。
Mistral AI：News精选AI 评分7373 Mistral 发布 Mistral Small 3.1，Apache 2.0 开源并支持 128k 上下文
Mistral AI 发布 Mistral Small 3.1，称其在同类权重模型中优于 Gemma 3 和 GPT-4o Mini，推理速度达 150 tokens 每秒，上下文窗口扩展至 128k tokens，并以 Apache 2.0 许可证开源。
推荐理由：官方公告给出具体基准对比、部署门槛和开放下载渠道，读者可据此评估它能否替代现有小型私有模型。
DeepSeek@deepseek_ai精选推荐理由：DeepSeek 开源 VL2 视觉模型，3B 轻量版可端侧部署，MoE 架构支持动态图像分块
Mistral AI：News精选AI 评分6767 Mistral AI 发布 Ministral 3B 和 Ministral 8B 端侧模型
Mistral AI 发布面向端侧和边缘场景的两款模型 Ministral 3B 与 Ministral 8B，称其在 10B 以下级别创下知识、常识、推理、function-calling 和效率的新前沿。
推荐理由：官方发布明确了两款端侧小模型的上下文长度、API 定价和许可证范围，读者可直接评估其本地部署与 Agent 调用场景的适用性。
Liquid AI 模型与工程博客精选AI 评分6464 Liquid AI 发布首批 Liquid Foundation Models：LFM-1B/3B/40B
Liquid AI 发布第一代 Liquid Foundation Models（LFM），包含 1.3B、3.1B 和 40.3B MoE（激活参数 12B）三个语言模型，官方称在各规模上取得同级领先质量。
推荐理由：官方发布了三档模型的基准数据和内存表现，并说明非开源决定与边缘部署定位，读者可据此评估是否试用。
LlamaIndex：产品、工程与评测精选AI 评分6262 用 LlamaIndex 和 llamafile 搭建本地私有研究助手
LlamaIndex 发布 Mozilla 客座教程，讲解用 llamafile 在笔记本上本地运行 LLM，并以 TinyLlama-1.1B 作为 LLM 与嵌入后端，结合 Wikipedia 页面与私有文档构建完全本地运行的 RAG 研究助手。
推荐理由：教程给出从下载运行 llamafile 到用 LlamaIndex 搭建本地 RAG 研究助手的完整代码路径，可迁移到其他主题。
LlamaIndex：产品、工程与评测精选AI 评分7171 LlamaIndex 教程：用 Ollama 本地运行 Mixtral 8x7b 并构建 RAG 应用
LlamaIndex 发布教程，讲解如何用 Ollama 在本地运行 Mixtral 8x7b 并结合 LlamaIndex 使用。Mixtral 是 Mistral AI 发布的八专家混合模型，各含 7B 参数，博客称其在多项基准上匹敌或超过 GPT-3.5 和 Llama2 70b。
推荐理由：原文提供从安装到建 API 的完整本地 Mixtral 流程，含代码和硬件要求，读者可以直接照做搭建本地 RAG。
Hugging Face 社区博客精选AI 评分7676 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
Hugging Face 与 Apple 合作，将 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 转换为 Core ML 版本并发布在 Hugging Face Hub，可在 Apple Silicon 的 CPU、GPU 和 Neural Engine 上运行。
推荐理由：Hugging Face 官方整理了 Core ML 版 Stable Diffusion 的下载、Python 与 Swift 推理方法，读者可按机型选变体并迁移到自定义模型。