技术方向
跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
165 条精选近 30 天 15 条共收录 1,866 条
inclusionAI发布了Ling-2.6-flash模型。该模型是其开源语言模型系列的最新成员，旨在通过开源与开放科学推动人工智能的进步与民主化。此次发布延续了团队降低AI技术使用门槛、促进更广泛社区参与开发的使命。
推荐理由：蚂蚁 inclusionAI 的 Ling-2.6-flash 上线 HuggingFace，名字带 flash 大概率是轻量推理模型，但官方描述几乎空白，没有 benchmark 也没有用例，建议等社区实测再决定是否投入精力。
天风国际分析师郭明錤称，OpenAI正与联发科、高通合作开发手机芯片，立讯精密为独家系统联合设计和制造合作伙伴，项目预计2028年量产。OpenAI旨在通过自研手机完全掌控软硬件，以提供由AI智能体驱动的全新体验：用户无需操作多个App，可直接通过手机执行任务。为实现此愿景，手机需能持续理解用户上下文，采用端侧小模型与云端大模型协同的架构。此举将推动AI手机换机潮，利好芯片合作伙伴，并有望帮助立讯精密在AI原生硬件时代实现超越。
推荐理由：郭明錤的供应链料向来准，这次OpenAI做手机的阵容（联发科、高通、立讯）规格拉满，不是PPT项目。2028还远，但对手机行业来说，AI原生硬件的军备竞赛已经开始了。
OpenAI 推出开源模型 Privacy Filter，专门用于检测和编辑文本中的个人数据。该模型能自动识别敏感信息并进行处理，以帮助减少隐私泄露风险，适用于需要数据脱敏的场景。
推荐理由：OpenAI这个开源隐私过滤器能在本地自动脱敏8类个人数据，对需要清洗训练数据的团队是个实用的基建工具，不过它不保证合规，别当法律盾牌用。
LiteRT 是一个生产就绪的框架，旨在帮助移动开发者充分发挥神经处理单元（NPU）的效能，以突破传统 CPU 或 GPU 在性能与电池续航上的瓶颈。该框架通过提供统一的 API 来屏蔽底层硬件复杂性，已成功助力 Google Meet、Epic Games 等行业领先者高效部署复杂的 AI 模型，实现实时视频处理、动画生成与语音识别等高级功能。此外，平台还提供基准测试工具并具备跨平台兼容性，能够支持 AI 应用无缝部署于移动设备、AI PC 及工业物联网硬件等多种终端。
推荐理由：Google 把 LiteRT 从实验品推到生产级，统一 NPU 调用 API，做端侧 AI 的开发者终于不用逐家适配芯片了。虽然不是新概念，但 Google Meet 和 Epic Games 已经在用，说明不是 PPT。
本文介绍在 Chrome 扩展中集成 Transformers.js 库的具体方法，涵盖从环境配置、模型加载到前后端通信的关键步骤。通过示例代码演示了如何利用该库在扩展中实现本地机器学习推理，同时处理扩展权限限制与安全策略。文中还对比了 Web Worker 与 Service Worker 两种部署方案，并提供了性能优化建议，帮助开发者在浏览器扩展环境中高效运行 Transformer 模型。
推荐理由：Hugging Face 官方出的 Transformers.js 浏览器插件教程，想在 Chrome 里跑端侧推理的前端开发者可以直接抄，省掉自己踩坑的时间。
Demis Hassabis@demishassabis精选Gemma 4 在基准测试中性能超越体量 10 倍以上的大模型，图表 x 轴为对数坐标，凸显其极高的参数效率。
推荐理由：Google 开源小模型 Gemma 4 发布，性能超越 10 倍体量级大模型
Sundar Pichai@sundarpichai精选很高兴推出 Gemma 4：这是目前各自尺寸下全球最优秀的开放模型。提供 4 种尺寸，可根据你的具体任务进行微调：31B 密集模型带来出色的原始性能，26B MoE 实现低延迟，还有高效的 2B 和 4B 模型适用于边缘设备——祝开发愉快！https://t.co/Sjbe3ph8xr
推荐理由：Google发布Gemma 4开源模型，4种尺寸覆盖从云端到端侧全场景
Demis Hassabis@demishassabis精选Gemma 4 开源模型发布，提供 4 种尺寸：31B dense 版追求极致性能，26B MoE 版实现低延迟，2B 与 4B 版适配边缘设备，均可针对特定任务微调。
推荐理由：Google 发布 Gemma 4 开源模型，覆盖 2B 至 31B 多尺寸，支持端侧与 MoE 架构
Google DeepMind@GoogleDeepMind精选Google 发布 Gemma 4 开源模型系列，采用 Apache 2.0 许可证，支持在本地硬件运行，专为高级推理和 agentic 工作流设计。
推荐理由：Google 开源 Gemma 4 模型，支持本地硬件运行并强化 Agent 与推理能力
Google DeepMind 发布了 Gemma 4 系列开源模型，旨在直接在设备端实现多步骤规划和自主智能体工作流。该版本包含用于实验“智能体技能”的 Google AI Edge Gallery，以及为开发者提供显著速度提升和结构化输出的 LiteRT-LM 库。Gemma 4 采用 Apache 2.0 许可，支持超过 140 种语言，并兼容移动设备、台式机及树莓派等多种物联网硬件平台。
推荐理由：开源 agentic 模型支持端侧运行，开发者可快速构建本地智能应用。
Google 正式发布了 Gemma 4，这是一款前沿的多模态人工智能模型，其核心特点是能够在设备端本地运行。该模型通过开源方式发布，旨在推动人工智能技术的进步与民主化。Gemma 4 的“在设备端”能力意味着数据处理可在本地完成，无需持续连接云端，这有望提升响应速度、增强隐私保护并实现离线使用。此举是 Google 通过开源和开放科学来普及人工智能的持续努力的一部分。
推荐理由：前沿多模态模型开源，设备端可运行，降低AI部署门槛。
IBM Granite团队发布了Granite 4.0 3B Vision模型，这是一个专为企业文档处理设计的紧凑型多模态大语言模型。该模型参数为30亿，具备视觉理解能力，能够同时处理文本和图像信息，特别针对报告、表格、图表等企业文档进行优化。其紧凑尺寸旨在降低部署和运行成本，使企业能够在资源受限的环境中高效实现文档智能分析、信息提取和知识管理。模型已在Hugging Face平台发布。
推荐理由：IBM 推出轻量级多模态模型，企业文档场景可直接落地部署
NXP在Hugging Face发布技术博客，详细介绍了将视觉语言动作模型应用于嵌入式机器人系统的完整流程。核心工作包括构建真实世界的机器人交互数据集，对VLA模型进行针对性微调，以及实施一系列设备端优化以实现高效部署。该方案旨在解决大型模型在资源受限的嵌入式硬件上运行的挑战，推动机器人AI在边缘端的实际应用。
推荐理由：嵌入式AI开发者可掌握从数据集记录到设备端优化的全流程实践。
Apple 发布了搭载 M5 芯片的全新 MacBook Air，为这款全球最受欢迎的笔记本电脑带来卓越性能和扩展的 AI 能力。新款 MacBook Air 在性能上实现显著提升，并增强了人工智能相关功能，进一步巩固其在轻薄本市场的领先地位。
推荐理由：Apple M5芯片强化端侧AI能力，开发者需关注硬件对AI部署的影响。
Google DeepMind@GoogleDeepMind精选我们推出 Nano Banana 2，基于最新的 Gemini Flash 模型构建。🍌 它在创建和编辑图像方面达到最先进水平，将专业级功能与闪电般的速度相结合。🧵
推荐理由：端侧手机本地实现Pro级图像生成与编辑，AI创作无需云端等待
Liquid AI 发布 LFM2 系列最大模型 LFM2-24B-A2B 的早期检查点，为 MoE 架构，24B 总参数、每 token 约 2.3B 激活，可放进 32GB 内存部署于云端和边缘设备。
推荐理由：官方给出架构配方和与 Qwen3、gpt-oss 的吞吐对比，读者可以据此评估这款 24B MoE 在笔记本和边缘部署上的实际可行性。
GGML 和 llama.cpp 团队正式加入 Hugging Face，以支持本地 AI 社区的长期扩展。创始人 Georgi Gerganov 及团队将全职维护 llama.cpp，保持 100% 技术自主权和社区领导力，项目继续 100% 开源和社区驱动。Hugging Face 提供长期可持续资源，助力项目增长。技术上将优化 transformers 库与 llama.cpp 的无缝集成，实现近乎“一键式”的模型部署，并改进基于 GGML 的软件打包和用户体验。长期愿景是构建高效本地推理堆栈，推动开源超级智能的普及。
推荐理由：本地推理核心引擎获得长期资源保障，端侧 AI 生态稳定性大幅提升
Transformers.js 发布第四个主要版本 v4，该版本现已通过 NPM 包管理器提供。这一更新延续了项目通过开源与开放科学推动人工智能技术进步与普及的使命，使开发者能够更便捷地获取并在项目中集成这一机器学习库。
推荐理由：浏览器和 Node.js 直接跑 HF 模型的大版本升级，前端开发者可零门槛接入 AI
Liquid AI 发布可在手机上完全离线运行的推理模型 LFM2.5-1.2B-Thinking，内存占用约 900 MB，已上线 Hugging Face、LEAP 和 Playground。
推荐理由：官方公布了小参数量思考模型的端侧内存、速度数据和训练配方，读者可以据此评估边缘推理方案的选型。
Liquid AI 发布 LFM2.5-1.2B 模型家族，将预训练从 10T 扩展到 28T tokens 并加入强化学习后训练，覆盖 Base、Instruct、日语、视觉语言和音频语言五个变体。
推荐理由：官方发布给出了完整基准数据和推理速度对比，读者可以据此评估 1B 级端侧模型在指令遵循和部署上的实际水位。