跳到正文

技术方向

端侧 AI 最新动态

直接跑在手机、电脑等设备上的 AI：小模型、在本机运行模型的工具与端侧芯片。

173 条精选近 30 天 22 条共收录 1,909 条

更新

精选归档 · 第 3 页

8月11日周二第 41–60 条
  1. Google Developers Blog62

    Google 发布在 Raspberry Pi 5 上用 LiteRT 与 Gemma 部署边缘 AI 的完整指南

    Google 发布教程，讲解如何用 LiteRT 和 Gemma 在 Raspberry Pi 5 上实现完全离线的实时边缘 AI，并演示其驱动 Reachy Mini 机器人。

    推荐理由：原文给出 LiteRT-LM 在树莓派 5 上运行 Gemma 的具体性能数字与 CPU/GPU 分工架构，还附完整部署命令，方法可直接迁移到自己的边缘部署。

  2. NVIDIA Blog76

    NVIDIA 推出 Nemotron 3.5 Lightning，加速本地智能体任务

    NVIDIA 发布 Nemotron 3.5 Lightning，一款可定制的开源 30B 混合专家（MoE）模型，专为常驻智能体设计。相比同类开源模型，其 token 生成速度最高提升 4 倍，任务完成时间缩短 30%。该模型采用开放权重，支持用户微调以匹配特定任务，并可在 RTX PC、DGX Spark 及 Jetson 等设备上运行。

    推荐理由：本地运行 30B MoE 模型并声称 4 倍加速，与开源路由器结合可自动分配任务到最合适模型，给控制推理成本提供了新路径。

  3. 公众号：蚂蚁百灵75

    Ling-3.0-tiny 正式开源：1.3B 激活参数如何进入真实任务

    蚂蚁百灵开源 Ling-3.0-tiny，一款总参数 7.9B、每 Token 仅激活 1.3B 参数的原生混合推理模型，同步提供 BF16、FP8 和 INT4 三个版本。

    推荐理由：1.3B 激活参数在 Mac 上实测首 Token 低于 100 毫秒，比只看参数量的轻量叙事更有参考价值，端侧 Agent 的落地边界因此更具体。

  4. 公众号：蚂蚁百灵72

    Ling-3.0-tiny 正式开源：1.3B 激活参数如何进入真实任务

    蚂蚁百灵开源 Ling-3.0-tiny，一款总参数 7.9B、推理时仅激活 1.3B 参数的原生混合推理模型，同步提供 BF16、FP8 和 INT4 三个版本。

    推荐理由：以1.3B激活参数取得接近4B激活模型的综合能力，同时Agent分数超越部分30B+模型，多精度开源和本地部署方案让轻量Agent应用更易落地。

  5. Ollama：Blog68

    NVIDIA Nemotron 3.5 Lightning 上架 Ollama，可完全本地运行

    NVIDIA Nemotron 3.5 Lightning 现已登陆 Ollama，可完全在本地设备上运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 开放模型，面向需要持续运行的智能体任务，支持最高 1M token 上下文，借助 MTP、DFlash 或 DSpark 推测解码获得最高 4x 吞吐提升，并可比同类开源模型快 30% 完成任务。

    推荐理由：原文给出了参数结构、上下文长度、吞吐数据和本地运行入口，读者可以据此判断它是否适合长期运行的本地智能体工作流。

8月10日周一
  2. Unsloth AI72

    Meta 开源 30B 参数密集模型 Muse Glimmer，Apache 2.0 许可，支持视觉，可在 18GB RAM/VRAM 环境本地运行，定位于本地智能体与编码工作流。

    引用Mark Zuckerberg@finkd

    今天我们还将开放 Muse Glimmer 的权重，这是一个出色的 30B 参数稠密模型，可以在本地运行。很快我们还会发布 Muse Spark 1.2 的权重，这是我们最新的基础模型。Meta 是开源的有力支持者，我为这些发布感到自豪。祝贺 @alexandr_wang 和 MSL 团队在这些模型上所做的出色工作。

    推荐理由：Meta 开源 30B 密集视觉模型，18GB 内存可本地运行，作者还提供了 GGUF 和运行训练指南，方便直接上手。

  3. AI at Meta58

    推出 Muse Glimmer，一款开放权重、300 亿参数的模型，专为本地、常驻运行的智能体工作流优化。 与同尺寸领先模型相比，Muse Glimmer 在关键智能体用例和基准测试中表现出色，并设计为完全在消费级硬件（如 Mac 或配备高性能 GPU 的 PC）上运行。 秉承我们长期分享基础 AI 研究的传统，我们以宽松的 Apache 2.0 许可证发布模型权重。

    推荐理由：将一个 30B 模型以 Apache 2.0 许可完全开源并针对本地智能体优化，为需要离线运行或数据不出设备的 Agent 应用提供了更轻量的选择。

8月5日周三
  1. Simon Willison 博客74

    MiniMax-H3 通过 MLX 移植可在 Apple Silicon 上运行

    MiniMax 发布 MiniMax-H3，一个可接受文本、图像、音频和视频并生成最长 15 秒带音频视频片段的通用全模态生成系统。Python 包 PipeNetwork/minimax-h3-mlx 将其移植到 MLX，支持 Apple Silicon 运行。作者在 M5 Max MacBook Pro 上实测，下载约 115 GB 模型文件，视频生成耗时不到 45 分钟。

    推荐理由：在 M5 Max 上生成本地视频的 45 分钟耗时，为判断这类模型何时能进入日常工作流提供了具体的参照。

8月4日周二
  1. Liquid AI 模型与工程博客70

    Liquid AI 发布端侧智能体模型 LFM2.5-2.6B

    Liquid AI 发布 LFM2.5-2.6B，一个可完全在设备端运行的 2.6B 参数智能体模型，预训练约 34T tokens，词表扩展至 128K，Base 和 post-trained 权重已在 Hugging Face 开放。

    推荐理由：原文给出了训练流程、基准对比和 CPU/GPU 吞吐数字，读者可以据此评估端侧智能体部署的可行性与取舍。

7月28日周二
  1. Liquid AI 模型与工程博客65

    Liquid AI 发布 LFM2.5-Encoder-230M 与 350M 双向编码器，长上下文下 CPU 推理最快

    Liquid AI 发布 LFM2.5-Encoder-230M 和 LFM2.5-Encoder-350M 两个基于 LFM2 混合架构的双向编码器，支持 8,192 token 上下文，已在 Hugging Face 开放下载。

    推荐理由：原文给出双向编码器的架构改动、17 项任务微调评测和长上下文 CPU 吞吐对比，读者可以据此评估其在边缘和本地部署中的适用性。

7月23日周四
7月21日周二
  1. Hugging Face 社区博客70

    NVIDIA 发布 Cosmos 3 Edge：4B 参数开源世界模型，为机器人及边缘 AI 提供实时推理与动作生成

    NVIDIA 在 Hugging Face 上开源了 Cosmos 3 Edge，一个 40 亿参数的世界模型，旨在帮助机器人和视觉 AI 智能体在边缘设备上理解环境、实时推理并生成动作。

    推荐理由：NVIDIA 把世界模型的能力压进 4B 参数，直接在 Jetson 上实时推理并生成机器人动作，对做具身智能的人来说是个标志性信号，边缘部署终于可以摆脱云端依赖了。

7月19日周日
  1. 公众号：面壁智能68

    MiniCPM5-2B发布：4B以下全球性能第一，适配9款芯片

    面壁智能联合OpenBMB发布端侧模型MiniCPM5-2B，以2B参数量在AA-Index榜单取得4B以下模型最高分17分，平均分54.26，超越Qwen3.5-2B等竞品。模型原生支持混合思考与512K上下文，已完成华为昇腾、英伟达等9款芯片的Day0适配，即将开源。

    推荐理由：2B 参数做到 4B 以下综合第一，而且把数据治理和 Agent 训练流程也开源了，做端侧智能体的可以盯一下，只是还没正式开源，暂时摸不到。

  2. 公众号：面壁智能64

    面壁智能发布端侧模型 MiniCPM5-2B，登顶 4B 以下性能榜首

    面壁智能联合 OpenBMB 在 WAIC 2026 发布端侧模型 MiniCPM5-2B，以 2B 参数量在 AA-Index 榜单登顶 4B 以下模型榜首，平均分 54.26，超 Qwen3.5-2B（41.66）。模型原生支持混合思考与 512K 上下文，Agent 能力得分 90.35，并完成华为昇腾、英伟达等 9 款芯片的 Day0 适配。

    推荐理由：长文本理解得分42.33、Agent能力τ²-Bench得分90.35，这些具体指标为端侧开发者评估2B模型的多步推理和工具调用提供了明确参照。

7月15日周三
  1. X.PIN78

    阿里巴巴的Qwen模型将被集成到Apple Intelligence中，为中国的iOS、iPadOS、macOS和visionOS用户提供文本与图像理解、内容生成等AI功能。中国网信办已公布包括Apple Intelligence、华为小艺大模型、OPPO AndesGPT在内的七项移动端生成式AI服务备案信息。阿里巴巴董事会主席蔡崇信表示，苹果在选定阿里前曾与多家中国公司洽谈。

    推荐理由：苹果选阿里Qwen为中国AI引擎，蔡崇信已确认，网信办也已备案，这事对国内AI厂商的竞争格局影响不小，做国内市场的应该认真看一眼。

  2. IT之家·人工智能82

    国行 Apple 智能完成备案，阿里千问将集成至苹果 AI 能力

    苹果技术开发（上海）有限公司的“Apple 智能”大模型已于 2026 年 7 月 8 日完成备案，适用场景为苹果手机。阿里千问将作为 AI 能力集成至 Apple 智能，为 iOS、iPadOS、macOS 和 visionOS 的中国用户提供文本与图像理解、内容生成等功能，用户无需在应用间切换即可直接体验。

    推荐理由：苹果AI备案落地，国行iPhone用户终于等到，但集成的不是自研而是阿里千问，对苹果AI生态和国内AI格局都算一个交代。

  3. Tencent Hy69

    找不到基准测试和下载链接？看这里👇https://huggingface.co/AngelSlim/Hy3-GGUF 我们刚刚发布了 Hy3 的 1-bit 与 4-bit 版本，这是一个旗舰级 295B 模型，可在单张 GPU 上运行。👌 使用 llama.cpp 运行 Hy3，启用 MTP，在显著更低的硬件上体验强大的智能。🚀🚀🚀 迫不及待想看到你们的作品。 #Hy3 #Hy #GGUF #llamacpp

    引用Tencent Hy@TencentHunyuan

    我们刚刚发布了 Hy3 的 1-bit 与 4-bit 版本，这是一款旗舰级规模的 295B 模型，可在单张 GPU 上运行。👌 使用 llama.cpp 运行 Hy3，启用 MTP，即可在显著降低的硬件配置上体验强大的智能能力。🚀🚀🚀 迫不及待想看看你们会用它构建什么。 #Hy3 #Hy #GGUF #llamacpp

    推荐理由：混元把295B旗舰模型压进单GPU，1-bit和4-bit版本对本地部署是个大礼包，开源社区可以动起来了。

  4. Google Developers Blog58

    Google 在 I/O Connect India 展示由 Tensor SoC 和 TPU 驱动的 Pixel 10 端侧 AI 未来

    在 Google I/O Connect India 上，Google 展示了由定制 Tensor SoC 和 TPU 驱动的 Pixel 10 系列所支持的 100% 私有端侧 AI 未来。活动首次推出轻量级 Gemma 4 E2B 模型，该模型原生运行于设备端，可实现完全离线的多模态功能，包括 AI 聊天、实时图像识别和个人智能体任务。开发者即日起可通过新发布的 Tensor SDK beta 及其配套开源资源，开始构建这些安全的边缘应用。

    推荐理由：我觉得这是端侧 AI 从实验到落地的信号，Gemma 4 E2B 的离线能力搭配新 SDK，让完全本地的多模态应用不再是期货，做移动隐私 AI 的开发者该上手试试了。

7月14日周二
  1. 公众号：面壁智能61

    面壁智能CTO曾国洋专访：端侧模型是AI落地关键路径

    面壁智能CTO曾国洋指出，端侧模型是AI落地的关键路径。其原创方法论“模型风洞”可在小规模实验中预测完整训练效果，并基于“知识密度”提出“面壁定律”：知识密度每3.5个月翻一番。2B参数的MiniCPM表现优于同期8B竞品。面壁已完成高通、联发科、英特尔、英伟达、AMD等芯片适配，新发布的BitCPM-CANN模型系列可在华为昇腾芯片上让同一内存多装约6倍模型。全双工全模态模型MiniCPM-o4.5支持实时打断与情绪调整。团队开发了全球首个完全由AI编写的生产级训练框架ForgeTrain，并引入行为模式库实现无需开口的“默契系统”。

    推荐理由：面壁选择了一条少有人走的端侧之路，这篇 CTO 专访把落地的真实困难、原创方法和他们的思考都摊开了，对做模型和做产品的人都有启发。