Gemma 3 270M 发布：专为超高效 AI 打造的轻量模型
Gemma 3 系列新增 270M 参数模型，仅 2.7 亿参数，定位紧凑型超高效 AI 专业工具。
推荐理由：Google 发布 270M 超小参数开源模型，端侧部署新选择
技术方向
端侧 AI 最新动态
直接跑在手机、电脑等设备上的 AI：小模型、在本机运行模型的工具与端侧芯片。
180 条精选近 30 天 23 条共收录 1,979 条
更新
精选归档 · 第 9 页
Google DeepMind：Blog精选
Liquid AI 模型与工程博客精选AI 评分6464 Liquid AI 发布 LFM2-Audio-1.5B 端到端音频基础模型
Liquid AI 发布 LFM2-Audio-1.5B，一个支持音频与文本输入输出的端到端基础模型，扩展了 LFM2 家族。
推荐理由：官方给出了 VoiceBench、ASR 词错率和低于 100ms 的延迟数据，读者可以据此评估 1.5B 参数模型在端侧实时语音场景的可用性。
Liquid AI 模型与工程博客精选AI 评分6161 Liquid AI 发布 Liquid Nanos 系列 350M–2.6B 端侧专用小模型
Liquid AI 发布 Liquid Nanos 系列，包含 350M 至 2.6B 参数的任务专用 LFM2 模型，可完全在手机、笔记本和嵌入式设备上运行。
推荐理由：原文给出各款小模型的参数量、任务定位和评测对比，读者可判断端侧专用模型能否替代云端大模型。
Hugging Face 社区博客精选AI 评分7272 Google 发布 EmbeddingGemma 高效多语言嵌入模型
Google 发布 EmbeddingGemma，一个面向端侧的多语言嵌入模型，参数量 308M，支持 2K 上下文窗口和 100 多种语言，量化后 RAM 占用低于 200 MB。
推荐理由：原文给出模型架构、MRL 截断维度和多框架用法，读者可以据此评估它在移动端 RAG 和检索场景的可行性。
Ethan Mollick：One Useful Thing精选 大众智能
从 GPT-5 到 nano banana，强大的人工智能技术正变得普及化。无论是尖端大模型还是轻量级应用，普通用户都能便捷获取先进 AI 能力，技术民主化进程加速，标志着智能时代进入人人可及的新阶段。
推荐理由：Ethan Mollick 解读 AI 普及化趋势，从 GPT-5 到微型设备应用
OpenAI Developers精选AI 评分6464 如何用 LM Studio 在本地运行 gpt-oss
OpenAI 发布 Cookbook 教程，讲解如何在本地硬件上用 LM Studio 运行 gpt-oss。LM Studio 是一款在本地硬件运行大语言模型的桌面应用，教程将引导用户完成本地运行 gpt-oss 的步骤。
推荐理由：OpenAI 官方 Cookbook 给出在本地硬件用 LM Studio 运行 gpt-oss 的完整步骤，可作为离线部署的操作参考。
Jim Fan@DrJimFan精选引用Qwen@Alibaba_Qwen🚀 推出 Qwen3-4B-Instruct-2507 与 Qwen3-4B-Thinking-2507 — 更智能、更敏锐，支持 256K！ 🔹 Instruct：增强通用技能、多语言覆盖和长上下文指令遵循。 🔹 Thinking：在逻辑、数学、科学和代码方面具备高级推理能力——专为专家级任务打造。 两个模型都更加对齐、更强大、更具上下文感知能力。 Huggingface： https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507 https://huggingface.co/Qwen/Qwen3-4B-Thinking-2507 ModelScope： https://modelscope.cn/models/Qwen/Qwen3-4B-Instruct-2507 https://modelscope.cn/models/Qwen/Qwen3-4B-Thinking-2507
推荐理由：Jim Fan 借 Qwen3-4B 提出「推理核心假设」，探讨极小模型作为 LLM OS 内核的边界
OpenAI Developers精选AI 评分7979 如何用 Ollama 在本地运行 gpt-oss
OpenAI 开发者发布教程，讲解如何用 Ollama 在本地硬件上部署 gpt-oss-20b 或 gpt-oss-120b 并选择合适的推理设置。
推荐理由：来自 OpenAI 开发者官方的实操指南，读者可按步骤在自己硬件上用 Ollama 跑通 gpt-oss 两个规格模型。
Liquid AI 模型与工程博客精选AI 评分6666 Liquid AI 发布端侧基础模型 LFM2，含 0.35B/0.7B/1.2B 三个规格
Liquid AI 发布新一代基础模型 LFM2，主打端侧部署，在 CPU 上解码与 prefill 速度最高达 Qwen3 的 2 倍，训练效率较上一代提升 3 倍。
推荐理由：官方发布端侧模型系列，给出与 Qwen3 等同尺寸模型的速度和基准对比数据，适合关注本地部署选型的读者参考。
Hugging Face 社区博客精选AI 评分8181 Gemma 3n 开源生态全面可用，发布 E2B 和 E4B 两种尺寸
Gemma 3n 在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama 和 Google AI Edge 等开源库中全面可用，发布 gemma-3n-E2B 和 gemma-3n-E4B 两个尺寸，各有 base 与 instruct 变体。
推荐理由：原文给出 E2B/E4B 的显存占用、架构细节和各库用法与微调入口，读者可以直接照着跑起来。
Google DeepMind：Blog精选 Gemini Robotics On-Device 将 AI 引入本地机器人设备
Gemini Robotics On-Device 推出高效端侧机器人模型，具备通用灵巧操作与快速任务适应能力，支持本地设备直接部署运行。
推荐理由：DeepMind 发布端侧机器人模型，支持本地部署与快速任务适应
Google DeepMind：Blog精选 Gemma 3n 预览版发布：强大、高效、移动优先的 AI
Gemma 3n 预览版发布，专为移动设备优化的开源多模态模型。采用 2-in-1 架构，支持音频理解，适用于实时交互和音频中心应用开发。
推荐理由：Google 发布端侧多模态模型 Gemma 3n，支持音频理解，面向移动设备优化
Hugging Face 社区博客精选AI 评分6464 TII 发布 Falcon-Edge 系列 1.58bit BitNet 语言模型，含 1B 和 3B 两种规格
TII 的 Falcon-Edge 系列基于 BitNet 架构，以三值权重 {-1, 0, 1} 直接预训练，提供 1B 和 3B 两种参数规格，各含 base 和 instruct 版本，模型在约 1.5 Tera Tokens 的内部数据混合上预训练。
推荐理由：原文解释了 BitNet 三值权重的训练范式和微调路径，读者可以据此判断 1.58bit 模型在端侧部署的适用性。
Mistral AI：News精选AI 评分7373 Mistral 发布 Mistral Small 3.1，Apache 2.0 开源并支持 128k 上下文
Mistral AI 发布 Mistral Small 3.1，称其在同类权重模型中优于 Gemma 3 和 GPT-4o Mini，推理速度达 150 tokens 每秒，上下文窗口扩展至 128k tokens，并以 Apache 2.0 许可证开源。
推荐理由：官方公告给出具体基准对比、部署门槛和开放下载渠道，读者可据此评估它能否替代现有小型私有模型。
DeepSeek@deepseek_ai精选推荐理由：DeepSeek 开源 VL2 视觉模型，3B 轻量版可端侧部署，MoE 架构支持动态图像分块
Mistral AI：News精选AI 评分6767 Mistral AI 发布 Ministral 3B 和 Ministral 8B 端侧模型
Mistral AI 发布面向端侧和边缘场景的两款模型 Ministral 3B 与 Ministral 8B，称其在 10B 以下级别创下知识、常识、推理、function-calling 和效率的新前沿。
推荐理由：官方发布明确了两款端侧小模型的上下文长度、API 定价和许可证范围，读者可直接评估其本地部署与 Agent 调用场景的适用性。
Liquid AI 模型与工程博客精选AI 评分6464 Liquid AI 发布首批 Liquid Foundation Models：LFM-1B/3B/40B
Liquid AI 发布第一代 Liquid Foundation Models（LFM），包含 1.3B、3.1B 和 40.3B MoE（激活参数 12B）三个语言模型，官方称在各规模上取得同级领先质量。
推荐理由：官方发布了三档模型的基准数据和内存表现，并说明非开源决定与边缘部署定位，读者可据此评估是否试用。
LlamaIndex：产品、工程与评测精选AI 评分6262 用 LlamaIndex 和 llamafile 搭建本地私有研究助手
LlamaIndex 发布 Mozilla 客座教程，讲解用 llamafile 在笔记本上本地运行 LLM，并以 TinyLlama-1.1B 作为 LLM 与嵌入后端，结合 Wikipedia 页面与私有文档构建完全本地运行的 RAG 研究助手。
推荐理由：教程给出从下载运行 llamafile 到用 LlamaIndex 搭建本地 RAG 研究助手的完整代码路径，可迁移到其他主题。
LlamaIndex：产品、工程与评测精选AI 评分7171 LlamaIndex 教程：用 Ollama 本地运行 Mixtral 8x7b 并构建 RAG 应用
LlamaIndex 发布教程，讲解如何用 Ollama 在本地运行 Mixtral 8x7b 并结合 LlamaIndex 使用。Mixtral 是 Mistral AI 发布的八专家混合模型，各含 7B 参数，博客称其在多项基准上匹敌或超过 GPT-3.5 和 Llama2 70b。
推荐理由：原文提供从安装到建 API 的完整本地 Mixtral 流程，含代码和硬件要求，读者可以直接照做搭建本地 RAG。
Hugging Face 社区博客精选AI 评分7676 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
Hugging Face 与 Apple 合作，将 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 转换为 Core ML 版本并发布在 Hugging Face Hub，可在 Apple Silicon 的 CPU、GPU 和 Neural Engine 上运行。
推荐理由：Hugging Face 官方整理了 Core ML 版 Stable Diffusion 的下载、Python 与 Swift 推理方法，读者可按机型选变体并迁移到自定义模型。