将机器人AI引入嵌入式平台:数据集记录、VLA微调与设备端优化
NXP在Hugging Face发布技术博客,详细介绍了将视觉语言动作模型应用于嵌入式机器人系统的完整流程。核心工作包括构建真实世界的机器人交互数据集,对VLA模型进行针对性微调,以及实施一系列设备端优化以实现高效部署。该方案旨在解决大型模型在资源受限的嵌入式硬件上运行的挑战,推动机器人AI在边缘端的实际应用。
推荐理由:嵌入式AI开发者可掌握从数据集记录到设备端优化的全流程实践。
技术方向
直接跑在手机、电脑等设备上的 AI:小模型、在本机运行模型的工具与端侧芯片。
173 条精选近 30 天 22 条共收录 1,909 条
NXP在Hugging Face发布技术博客,详细介绍了将视觉语言动作模型应用于嵌入式机器人系统的完整流程。核心工作包括构建真实世界的机器人交互数据集,对VLA模型进行针对性微调,以及实施一系列设备端优化以实现高效部署。该方案旨在解决大型模型在资源受限的嵌入式硬件上运行的挑战,推动机器人AI在边缘端的实际应用。
推荐理由:嵌入式AI开发者可掌握从数据集记录到设备端优化的全流程实践。
Apple 发布了搭载 M5 芯片的全新 MacBook Air,为这款全球最受欢迎的笔记本电脑带来卓越性能和扩展的 AI 能力。新款 MacBook Air 在性能上实现显著提升,并增强了人工智能相关功能,进一步巩固其在轻薄本市场的领先地位。
推荐理由:Apple M5芯片强化端侧AI能力,开发者需关注硬件对AI部署的影响。
我们推出 Nano Banana 2,基于最新的 Gemini Flash 模型构建。🍌 它在创建和编辑图像方面达到最先进水平,将专业级功能与闪电般的速度相结合。🧵
推荐理由:端侧手机本地实现Pro级图像生成与编辑,AI创作无需云端等待
Liquid AI 发布 LFM2 系列最大模型 LFM2-24B-A2B 的早期检查点,为 MoE 架构,24B 总参数、每 token 约 2.3B 激活,可放进 32GB 内存部署于云端和边缘设备。
推荐理由:官方给出架构配方和与 Qwen3、gpt-oss 的吞吐对比,读者可以据此评估这款 24B MoE 在笔记本和边缘部署上的实际可行性。
GGML 和 llama.cpp 团队正式加入 Hugging Face,以支持本地 AI 社区的长期扩展。创始人 Georgi Gerganov 及团队将全职维护 llama.cpp,保持 100% 技术自主权和社区领导力,项目继续 100% 开源和社区驱动。Hugging Face 提供长期可持续资源,助力项目增长。技术上将优化 transformers 库与 llama.cpp 的无缝集成,实现近乎“一键式”的模型部署,并改进基于 GGML 的软件打包和用户体验。长期愿景是构建高效本地推理堆栈,推动开源超级智能的普及。
推荐理由:本地推理核心引擎获得长期资源保障,端侧 AI 生态稳定性大幅提升
Transformers.js 发布第四个主要版本 v4,该版本现已通过 NPM 包管理器提供。这一更新延续了项目通过开源与开放科学推动人工智能技术进步与普及的使命,使开发者能够更便捷地获取并在项目中集成这一机器学习库。
推荐理由:浏览器和 Node.js 直接跑 HF 模型的大版本升级,前端开发者可零门槛接入 AI
Liquid AI 发布可在手机上完全离线运行的推理模型 LFM2.5-1.2B-Thinking,内存占用约 900 MB,已上线 Hugging Face、LEAP 和 Playground。
推荐理由:官方公布了小参数量思考模型的端侧内存、速度数据和训练配方,读者可以据此评估边缘推理方案的选型。
Liquid AI 发布 LFM2.5-1.2B 模型家族,将预训练从 10T 扩展到 28T tokens 并加入强化学习后训练,覆盖 Base、Instruct、日语、视觉语言和音频语言五个变体。
推荐理由:官方发布给出了完整基准数据和推理速度对比,读者可以据此评估 1B 级端侧模型在指令遵循和部署上的实际水位。
Gemini 3 Flash 正式发布,在大幅降低使用成本的同时提供前沿级智能,主打极速推理性能,为需要快速响应的 AI 应用提供高性价比选择。
推荐理由:Google发布Gemini 3 Flash轻量模型,兼顾前沿性能与推理速度
llama.cpp 服务器新增了类似 Ollama 的多模型管理功能。该功能采用多进程架构,每个模型独立运行,确保单个模型崩溃不影响其他服务。系统支持自动发现本地 GGUF 模型文件、按需加载,并默认采用 LRU 机制管理最多同时加载4个模型。用户可通过请求中的模型字段路由到特定模型,并可使用 API 进行加载、卸载和列表查看。所有加载的模型可继承路由器的统一设置,也支持通过预设文件为每个模型单独配置参数。内置 Web UI 同样支持模型切换。
推荐理由:本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升
Mistral 发布 Mistral 3 模型系列,包含 41B 激活、675B 总参数的稀疏 MoE 模型 Mistral Large 3,以及 3B、8B、14B 三种规模的 Ministral 3 小模型,全部以 Apache 2.0 许可开源。
推荐理由:原文来自 Mistral 官方发布,给出了模型规格、开源许可、性能定位和部署路径,读者可据此评估不同规模的选用方案。
与 NVIDIA 合作,在 DGX Spark 上通过 SGLang 成功支持 GPT-OSS 20B 与 120B 模型,实现 20B 版本约 70 tokens/s、120B 版本约 50 tokens/s 的生成速度,达到目前最优水平。用户可通过 Docker 部署 SGLang 服务,接入 Open WebUI 实现本地聊天,或借助 LMRouter 转换请求格式以完全本地化运行 Claude Code。该方案使在 DGX Spark 上部署多百亿参数本地编码智能体成为现实。
推荐理由:DGX Spark本地跑通Claude Code完全离线,隐私敏感开发者的新选择
Gemini 2.5 Flash-Lite 结束预览,达到生产级可用状态。这款高性价比模型在轻量体积下提供高质量输出,支持 100 万 token 超长上下文和多模态能力。
推荐理由:Google轻量模型Gemini 2.5 Flash-Lite正式版发布,百万上下文多模态兼顾成本效益
Gemma 3 系列新增 270M 参数模型,仅 2.7 亿参数,定位紧凑型超高效 AI 专业工具。
推荐理由:Google 发布 270M 超小参数开源模型,端侧部署新选择
Liquid AI 发布 LFM2-Audio-1.5B,一个支持音频与文本输入输出的端到端基础模型,扩展了 LFM2 家族。
推荐理由:官方给出了 VoiceBench、ASR 词错率和低于 100ms 的延迟数据,读者可以据此评估 1.5B 参数模型在端侧实时语音场景的可用性。
Liquid AI 发布 Liquid Nanos 系列,包含 350M 至 2.6B 参数的任务专用 LFM2 模型,可完全在手机、笔记本和嵌入式设备上运行。
推荐理由:原文给出各款小模型的参数量、任务定位和评测对比,读者可判断端侧专用模型能否替代云端大模型。
Google 发布 EmbeddingGemma,一个面向端侧的多语言嵌入模型,参数量 308M,支持 2K 上下文窗口和 100 多种语言,量化后 RAM 占用低于 200 MB。
推荐理由:原文给出模型架构、MRL 截断维度和多框架用法,读者可以据此评估它在移动端 RAG 和检索场景的可行性。
从 GPT-5 到 nano banana,强大的人工智能技术正变得普及化。无论是尖端大模型还是轻量级应用,普通用户都能便捷获取先进 AI 能力,技术民主化进程加速,标志着智能时代进入人人可及的新阶段。
推荐理由:Ethan Mollick 解读 AI 普及化趋势,从 GPT-5 到微型设备应用
OpenAI 发布 Cookbook 教程,讲解如何在本地硬件上用 LM Studio 运行 gpt-oss。LM Studio 是一款在本地硬件运行大语言模型的桌面应用,教程将引导用户完成本地运行 gpt-oss 的步骤。
推荐理由:OpenAI 官方 Cookbook 给出在本地硬件用 LM Studio 运行 gpt-oss 的完整步骤,可作为离线部署的操作参考。
🚀 推出 Qwen3-4B-Instruct-2507 与 Qwen3-4B-Thinking-2507 — 更智能、更敏锐,支持 256K! 🔹 Instruct:增强通用技能、多语言覆盖和长上下文指令遵循。 🔹 Thinking:在逻辑、数学、科学和代码方面具备高级推理能力——专为专家级任务打造。 两个模型都更加对齐、更强大、更具上下文感知能力。 Huggingface: https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507 https://huggingface.co/Qwen/Qwen3-4B-Thinking-2507 ModelScope: https://modelscope.cn/models/Qwen/Qwen3-4B-Instruct-2507 https://modelscope.cn/models/Qwen/Qwen3-4B-Thinking-2507
推荐理由:Jim Fan 借 Qwen3-4B 提出「推理核心假设」,探讨极小模型作为 LLM OS 内核的边界