跳到正文

技术方向

端侧 AI 最新动态

直接跑在手机、电脑等设备上的 AI:小模型、在本机运行模型的工具与端侧芯片。

173 条精选近 30 天 22 条共收录 1,909 条

更新

精选归档 · 第 8 页

3月5日周四第 141–160 条
  1. Hugging Face 社区博客73

    将机器人AI引入嵌入式平台:数据集记录、VLA微调与设备端优化

    NXP在Hugging Face发布技术博客,详细介绍了将视觉语言动作模型应用于嵌入式机器人系统的完整流程。核心工作包括构建真实世界的机器人交互数据集,对VLA模型进行针对性微调,以及实施一系列设备端优化以实现高效部署。该方案旨在解决大型模型在资源受限的嵌入式硬件上运行的挑战,推动机器人AI在边缘端的实际应用。

    推荐理由:嵌入式AI开发者可掌握从数据集记录到设备端优化的全流程实践。

3月3日周二
  1. Apple:Newsroom71

    Apple 推出搭载 M5 芯片的全新 MacBook Air

    Apple 发布了搭载 M5 芯片的全新 MacBook Air,为这款全球最受欢迎的笔记本电脑带来卓越性能和扩展的 AI 能力。新款 MacBook Air 在性能上实现显著提升,并增强了人工智能相关功能,进一步巩固其在轻薄本市场的领先地位。

    推荐理由:Apple M5芯片强化端侧AI能力,开发者需关注硬件对AI部署的影响。

2月27日周五
2月24日周二
  1. Liquid AI 模型与工程博客64

    Liquid AI 发布早期检查点 LFM2-24B-A2B,24B 总参数仅 2.3B 激活

    Liquid AI 发布 LFM2 系列最大模型 LFM2-24B-A2B 的早期检查点,为 MoE 架构,24B 总参数、每 token 约 2.3B 激活,可放进 32GB 内存部署于云端和边缘设备。

    推荐理由:官方给出架构配方和与 Qwen3、gpt-oss 的吞吐对比,读者可以据此评估这款 24B MoE 在笔记本和边缘部署上的实际可行性。

2月20日周五
  1. Hugging Face 社区博客86

    GGML 和 llama.cpp 加入 HF 以确保 Local AI 的长期进展

    GGML 和 llama.cpp 团队正式加入 Hugging Face,以支持本地 AI 社区的长期扩展。创始人 Georgi Gerganov 及团队将全职维护 llama.cpp,保持 100% 技术自主权和社区领导力,项目继续 100% 开源和社区驱动。Hugging Face 提供长期可持续资源,助力项目增长。技术上将优化 transformers 库与 llama.cpp 的无缝集成,实现近乎“一键式”的模型部署,并改进基于 GGML 的软件打包和用户体验。长期愿景是构建高效本地推理堆栈,推动开源超级智能的普及。

    推荐理由:本地推理核心引擎获得长期资源保障,端侧 AI 生态稳定性大幅提升

2月9日周一
  1. Hugging Face 社区博客76

    Transformers.js v4:现已在 NPM 上发布!

    Transformers.js 发布第四个主要版本 v4,该版本现已通过 NPM 包管理器提供。这一更新延续了项目通过开源与开放科学推动人工智能技术进步与普及的使命,使开发者能够更便捷地获取并在项目中集成这一机器学习库。

    推荐理由:浏览器和 Node.js 直接跑 HF 模型的大版本升级,前端开发者可零门槛接入 AI

1月20日周二
1月5日周一
  1. Liquid AI 模型与工程博客63

    Liquid AI 发布 LFM2.5 端侧模型家族,预训练扩展至 28T tokens

    Liquid AI 发布 LFM2.5-1.2B 模型家族,将预训练从 10T 扩展到 28T tokens 并加入强化学习后训练,覆盖 Base、Instruct、日语、视觉语言和音频语言五个变体。

    推荐理由:官方发布给出了完整基准数据和推理速度对比,读者可以据此评估 1B 级端侧模型在指令遵循和部署上的实际水位。

12月17日周三
12月11日周四
  1. Hugging Face 社区博客76

    llama.cpp 服务器新增多模型管理功能

    llama.cpp 服务器新增了类似 Ollama 的多模型管理功能。该功能采用多进程架构,每个模型独立运行,确保单个模型崩溃不影响其他服务。系统支持自动发现本地 GGUF 模型文件、按需加载,并默认采用 LRU 机制管理最多同时加载4个模型。用户可通过请求中的模型字段路由到特定模型,并可使用 API 进行加载、卸载和列表查看。所有加载的模型可继承路由器的统一设置,也支持通过预设文件为每个模型单独配置参数。内置 Web UI 同样支持模型切换。

    推荐理由:本地跑模型终于能像 Ollama 一样热切换,开发调试效率大幅提升

12月2日周二
  1. Mistral AI:News82

    Mistral 发布 Mistral 3 系列:Mistral Large 3 与 Ministral 3 全线开源

    Mistral 发布 Mistral 3 模型系列,包含 41B 激活、675B 总参数的稀疏 MoE 模型 Mistral Large 3,以及 3B、8B、14B 三种规模的 Ministral 3 小模型,全部以 Apache 2.0 许可开源。

    推荐理由:原文来自 Mistral 官方发布,给出了模型规格、开源许可、性能定位和部署路径,读者可据此评估不同规模的选用方案。

11月3日周一
  1. LMSYS Blog

    在 NVIDIA DGX Spark 上优化 GPT-OSS:实现本地大模型部署

    与 NVIDIA 合作,在 DGX Spark 上通过 SGLang 成功支持 GPT-OSS 20B 与 120B 模型,实现 20B 版本约 70 tokens/s、120B 版本约 50 tokens/s 的生成速度,达到目前最优水平。用户可通过 Docker 部署 SGLang 服务,接入 Open WebUI 实现本地聊天,或借助 LMRouter 转换请求格式以完全本地化运行 Claude Code。该方案使在 DGX Spark 上部署多百亿参数本地编码智能体成为现实。

    推荐理由:DGX Spark本地跑通Claude Code完全离线,隐私敏感开发者的新选择

10月26日周日
10月24日周五
10月1日周三
9月25日周四
9月4日周四
  1. Hugging Face 社区博客72

    Google 发布 EmbeddingGemma 高效多语言嵌入模型

    Google 发布 EmbeddingGemma,一个面向端侧的多语言嵌入模型,参数量 308M,支持 2K 上下文窗口和 100 多种语言,量化后 RAM 占用低于 200 MB。

    推荐理由:原文给出模型架构、MRL 截断维度和多框架用法,读者可以据此评估它在移动端 RAG 和检索场景的可行性。

8月29日周五
  1. Ethan Mollick:One Useful Thing

    大众智能

    从 GPT-5 到 nano banana,强大的人工智能技术正变得普及化。无论是尖端大模型还是轻量级应用,普通用户都能便捷获取先进 AI 能力,技术民主化进程加速,标志着智能时代进入人人可及的新阶段。

    推荐理由:Ethan Mollick 解读 AI 普及化趋势,从 GPT-5 到微型设备应用

8月7日周四
  1. OpenAI Developers64

    如何用 LM Studio 在本地运行 gpt-oss

    OpenAI 发布 Cookbook 教程,讲解如何在本地硬件上用 LM Studio 运行 gpt-oss。LM Studio 是一款在本地硬件运行大语言模型的桌面应用,教程将引导用户完成本地运行 gpt-oss 的步骤。

    推荐理由:OpenAI 官方 Cookbook 给出在本地硬件用 LM Studio 运行 gpt-oss 的完整步骤,可作为离线部署的操作参考。

  2. Jim Fan

    Qwen发布4B参数模型Qwen3-4B-Instruct-2507与Thinking-2507,支持256K上下文,分指令与推理双版本。作者指出这验证了"推理核心假设":推理仅需基础语言能力,无需千亿参数知识库,契合轻量级LLM OS理念——最小化模型体积,最大化依赖工具调用与知识检索。

    引用Qwen@Alibaba_Qwen

    🚀 推出 Qwen3-4B-Instruct-2507 与 Qwen3-4B-Thinking-2507 — 更智能、更敏锐,支持 256K! 🔹 Instruct:增强通用技能、多语言覆盖和长上下文指令遵循。 🔹 Thinking:在逻辑、数学、科学和代码方面具备高级推理能力——专为专家级任务打造。 两个模型都更加对齐、更强大、更具上下文感知能力。 Huggingface: https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507 https://huggingface.co/Qwen/Qwen3-4B-Thinking-2507 ModelScope: https://modelscope.cn/models/Qwen/Qwen3-4B-Instruct-2507 https://modelscope.cn/models/Qwen/Qwen3-4B-Thinking-2507

    推荐理由:Jim Fan 借 Qwen3-4B 提出「推理核心假设」,探讨极小模型作为 LLM OS 内核的边界