跳到正文

技术方向

端侧 AI 最新动态

跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。

161 条精选近 30 天 14 条共收录 1,861 条

更新

大事记

重要进展

8月

  1. 模型NVIDIA 推出 Nemotron 3.5 Lightning

6月

  1. 产品Kimi Work 发布

5月

  1. 模型面壁智能开源 MiniCPM5-1B
  2. 产品Windows、Mac、安卓端同步上线

端侧 AI的精选

10月9日周五第 1–20 条
10月8日周四
10月7日周三
  2. Google Developers Blog68

    Google DeepMind 发布多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 于 10 月 6 日发布开放权重的多模态嵌入模型 EmbeddingGemma 2，将文本、图像、视频帧和音频映射到统一向量空间，参数量 740M。

    推荐理由：原文给出内存占用、延迟和多种开发入口的具体数据，读者可以据此评估在本地多模态检索场景的落地方式。

10月2日周五
  1. NVIDIA Blog67

    NVIDIA DGX Spark 推出 64GB 版本，10 月 23 日起以 $4,999 开售

    NVIDIA 宣布 DGX Spark 推出 64GB 统一内存新配置，10 月 23 日起由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 发售，起步价 $4,999，支持最高 1000 亿参数模型在端侧运行。

    推荐理由：官方公告给出64GB版的价格、上市时间和双机集群性能数据，读者可以据此评估本地AI部署的内存与成本取舍。

9月30日周三
  1. Artificial Analysis 完整文章64

    Artificial Analysis 开源 AA-AgentPerf-Local，测试笔记本与工作站上本地 AI 智能体推理性能

    Artificial Analysis 发布开源工具 AA-AgentPerf-Local，通过重放 8 个真实智能体任务（168 轮、上下文增长至约 56K tokens）测试本地推理性能，并上线笔记本与工作站排行榜。

    推荐理由：原文给出四种桌面级硬件和四个模型的智能体推理实测结果与全部开源配置，可帮读者在搭建本地 agent 前做选型比较。

9月29日周二
  1. Ollama：Blog69

    Ollama 支持基于 Jev API 的决策模型，新增 nimble 等三款模型

    Ollama 0.35 通过新 /v1/systemone 端点支持基于 TypeSafe Jev API 的决策模型，可在本地一次请求回答多个命名问题，适合工单分诊、模型路由和内容审核等快速决策任务。

    推荐理由：官方宣布本地运行决策模型，给出延迟数据和 API 用法，可帮助读者评估本地快速决策场景的可行性。

9月24日周四
  1. Google Developers Blog60

    Antigravity SDK 支持本地模型，首发 Gemma 4 26B A4B 配合 LiteRT

    Google 宣布 Antigravity SDK 支持本地工作流，首发支持通过 Google AI Edge 的 LiteRT 运行 Gemma 4 26B A4B，可完全离线获得智能体辅助能力，建议机器配备超过 24GB VRAM 或统一内存。

    推荐理由：官方给出完整的本地模型接入步骤和混合编排示例，开发者可以直接照此把智能体工作流搬到离线环境。

9月23日周三
  1. vLLM 官方博客74

    vLLM 发布 vllm-metal v0.28.0：在 Apple Silicon 上支持并发推理服务

    vLLM 官方发布 vllm-metal v0.28.0，把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon，由 MLX 和 Metal 执行模型，版本号与上游 vLLM 对齐。

    推荐理由：官方首次发布 vllm-metal，用 packed varlen attention 和 paged KV 解决 Mac 上并发请求的服务问题，并给出可复现的并发基准数据。

  2. Meta：Newsroom · AI76

    Meta 在 Connect 发布 Ray-Ban Meta Audio 音频眼镜并扩充 Ray-Ban Meta (Gen 3) 等 AI 眼镜产品线

    Meta 在 Connect 上发布首款音频眼镜 Ray-Ban Meta Audio，重 43 克，预售价 349 美元起，10 月 13 日发货，单次充电可用 12 小时。

    推荐理由：官方在 Connect 上同时扩充多价位与多款式 AI 眼镜产品线，给出了各款定价、续航和新市场名单，方便对照选购与产品节奏。

9月22日周二
  2. Hugging Face 社区博客73

    transformers 支持直接加载 GGUF 量化模型，本地推理性能接近 llama.cpp

    Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型，通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint，并复用 ggml 的 Metal 内核。

    推荐理由：官方宣布 transformers 直接加载 GGUF，给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法，可帮助本地推理用户选择工作流。

9月15日周二
  1. Apple：Newsroom77

    Apple 发布新一代 Apple Intelligence，Siri AI 正式以测试版上线

    Apple 发布新一代 Apple Intelligence，推出全面重构的 Siri AI，支持个人语境理解、屏幕感知、系统级应用操作和跨设备对话，今日起以英文测试版随 2027 系统更新推出，下月扩展至法语、日语、韩语、葡萄牙语和西班牙语。

    推荐理由：官方公告完整列出 Siri AI 的能力清单、设备与语言范围，以及欧盟和中国市场暂不可用等限制，读者可据此评估适用性。

9月10日周四
  1. Apple：Newsroom66

    Apple 发布首款折叠屏 iPhone Duo，起售价 $1,999

    Apple 发布首款折叠屏 iPhone Duo，展开为 7.6 英寸内屏，合盖后为 5.4 英寸外屏，提供 iPhone 上最大显示面积。搭载 A20 Pro 芯片和蒸汽室散热，iPhone 17 Pro 续航最高 44 小时视频播放，10 月 16 日开启预购、10 月 23 日发售，起售价 $1,999。

    推荐理由：官方完整披露了屏幕、铰链、A20 Pro、续航与售价等参数，读者可据此评估这款折叠 iPhone 的实际取舍。

  2. Apple：Newsroom63

    Apple 发布 iPhone 18 Pro 与 iPhone 18 Pro Max

    Apple 发布 iPhone 18 Pro 和 iPhone 18 Pro Max，配备带可变光圈的 48MP Fusion 主摄、A20 Pro 芯片和新一代 vapor chamber，eSIM 版 iPhone 18 Pro Max 视频播放最长可达 45 小时。

    推荐理由：官方发布稿给出了可变光圈相机、A20 Pro 和电池续航的具体规格与售价，读者可以据此了解这代 Pro 机型的主要变化。

  3. Apple：Newsroom63

    Apple 发布 Health Sensing System 与重构版 Health app，Apple Watch Series 12 和 Ultra 4 主打 readiness 与 Health Age

    Apple 发布全新健康与健身功能，Apple Watch Series 12 和 Apple Watch Ultra 4 引入 Health Sensing System，支持每 5 秒测心率、HRV 测量频率提升至 24 倍、每日 0-10 的 readiness 评分。

    推荐理由：官方发布列出心率监测频率、readiness 评分和 Health app 各新标签的具体能力，读者可据此评估对自身健康管理的可用性。

9月4日周五
  1. Unsloth AI71

    Unsloth 宣布通过优化解码和新增 MTP 支持，让 GLM-5.3-Flash 的本地 GGUF 推理提速 1.6 至 3.4 倍，长上下文下最高达 3.3 倍。

    引用Z.ai@Zai_org

    GLM-5.3-Flash 正式发布 - 以极具竞争力的价格提供领先性能 - 原生多模态，支持 1M token 上下文窗口 - 320B-A18B 参数模型，采用 MIT 许可证发布 - 此前以 Ox Alpha 名义预览，完全运行在中国 AI 芯片上 博客：http://z.ai/blog/glm-5.3-flash 现已在所有官方平台上线： 模型权重：http://huggingface.co/zai-org/GLM-5.3-Flash API：http://docs.z.ai/guides/llm/glm-5.3-flash 编程套餐：http://z.ai/subscribe ZCode：http://zcode.z.ai/en 对话：http://chat.z.ai AutoClaw：http://autoclaw.z.ai

    推荐理由：原文给出本地运行 GLM-5.3-Flash 的具体加速倍数、显存需求表和现成 GGUF 资源，方法可直接复用。

9月2日周三
  1. Unsloth AI66

    Unsloth 通过 MTP（Multi-Token Prediction）让 Qwen3.8-Flash-Next 本地推理提速约 1.3 至 1.7 倍且精度不变，GGUF 在单张 RTX PRO 6000 上可达 170 tokens/s（基线 100 tokens/s）。

    引用Unsloth AI@UnslothAI

    Qwen3.8-Flash 现在可以在本地运行了！🔥 这个 125B 的 MoE 模型表现超过了 Claude-Opus-4.6（Max）。 通过 Unsloth GGUF 在 75GB 内存上运行。 Qwen3.8-Flash-Next 让 CPU 内存 / 统一内存配置也能达到接近 VRAM 的速度。 指南：https://unsloth.ai/docs/models/qwen3.8-next GGUF：https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF

    推荐理由：原文给出了 MTP 加速的具体倍数、显存门槛和各量化档位内存需求，读者可以据此判断自己的设备能否跑通。