Qwen 3.8 27B 表现出色，但默认推理强度过高导致过度思考
阿里 Qwen 实验室发布 Apache 2 许可的 27B 参数视觉大模型 Qwen 3.8 27B，官方基准显示其超越前代 Qwen 3.6 27B 及闭源 Qwen 3.7-Plus。
推荐理由：把 Qwen 3.8 27B 的推理档位成本量化成时间差异，xhigh 默认让生成同一 SVG 从 137 秒膨胀到 21 分钟，这个默认值比能力更影响本地选型。
技术方向
端侧 AI 最新动态
直接跑在手机、电脑等设备上的 AI：小模型、在本机运行模型的工具与端侧芯片。
177 条精选近 30 天 22 条共收录 1,954 条
更新
精选归档 · 第 3 页
Simon Willison 博客精选AI 评分7373
Unsloth AI@UnslothAI精选AI 评分7676Unsloth 发布 Qwen3.8-27B 的 Dynamic GGUF 量化版本，4-bit 量化可在 17-19GB 内存设备上本地运行，并同时上传 NVFP4 量化。
引用Qwen@Alibaba_Qwen我们承诺过开源 Qwen3.8 的模型权重。现在，是时候见面了！🎉 ⚡ Qwen3.8-27B： - 一款原生多模态稠密模型。仅凭 27B 参数，综合表现超越 Qwen3.7-Plus，在真实世界的编码与办公工作流中尤为亮眼。 - 原生支持 262K 上下文，可通过 YaRN 轻松扩展至 1M tokens。 - 为开发者而生。高效、高质量，并采用 Apache 2.0 许可证。 🚀 Qwen3.8-2.4T-A95B（Max 级别）的开放权重也已于近日发布。 无论你是想用 Qwen3.8-27B 在本地部署轻量级应用，还是用 Qwen3.8-2.4T-A95B 构建智能体，它们现在都属于你了！ 下载、部署，去构建我们尚未想象到的东西吧。👀👇 - Hugging Face： https://huggingface.co/collections/Qwen/qwen38 - ModelScope： https://www.modelscope.cn/collections/Qwen/Qwen38
推荐理由：原文给出了本地运行的具体内存门槛、量化版本和硬件对照表，读者可以据此判断能否在自己的设备上跑通这个 27B 模型。
Liquid AI 模型与工程博客精选AI 评分6767 Liquid AI 发布 LFM2.5-VL-3B 边缘端视觉语言模型
Liquid AI 发布 LFM2.5-VL-3B 视觉语言模型，屏幕理解 ScreenSpot-v2 平均 80.7，ToolSandbox 从 26.4 升至 59.5，RefCOCO 从 57.1 升至 87.9。
推荐理由：官方给出与更大模型对比的基准数据和端侧、GPU 实测速度，读者可据此评估它在边缘部署场景的适用性。
Google Developers Blog精选AI 评分6262 Google 发布在 Raspberry Pi 5 上用 LiteRT 与 Gemma 部署边缘 AI 的完整指南
Google 发布教程，讲解如何用 LiteRT 和 Gemma 在 Raspberry Pi 5 上实现完全离线的实时边缘 AI，并演示其驱动 Reachy Mini 机器人。
推荐理由：原文给出 LiteRT-LM 在树莓派 5 上运行 Gemma 的具体性能数字与 CPU/GPU 分工架构，还附完整部署命令，方法可直接迁移到自己的边缘部署。
NVIDIA Blog精选AI 评分7676 NVIDIA 推出 Nemotron 3.5 Lightning，加速本地智能体任务
NVIDIA 发布 Nemotron 3.5 Lightning，一款可定制的开源 30B 混合专家（MoE）模型，专为常驻智能体设计。相比同类开源模型，其 token 生成速度最高提升 4 倍，任务完成时间缩短 30%。该模型采用开放权重，支持用户微调以匹配特定任务，并可在 RTX PC、DGX Spark 及 Jetson 等设备上运行。
推荐理由：本地运行 30B MoE 模型并声称 4 倍加速，与开源路由器结合可自动分配任务到最合适模型，给控制推理成本提供了新路径。
公众号：蚂蚁百灵精选AI 评分7575 Ling-3.0-tiny 正式开源：1.3B 激活参数如何进入真实任务
蚂蚁百灵开源 Ling-3.0-tiny，一款总参数 7.9B、每 Token 仅激活 1.3B 参数的原生混合推理模型，同步提供 BF16、FP8 和 INT4 三个版本。
推荐理由：1.3B 激活参数在 Mac 上实测首 Token 低于 100 毫秒，比只看参数量的轻量叙事更有参考价值，端侧 Agent 的落地边界因此更具体。
公众号：蚂蚁百灵精选AI 评分7272 Ling-3.0-tiny 正式开源：1.3B 激活参数如何进入真实任务
蚂蚁百灵开源 Ling-3.0-tiny，一款总参数 7.9B、推理时仅激活 1.3B 参数的原生混合推理模型，同步提供 BF16、FP8 和 INT4 三个版本。
推荐理由：以1.3B激活参数取得接近4B激活模型的综合能力，同时Agent分数超越部分30B+模型，多精度开源和本地部署方案让轻量Agent应用更易落地。
Ollama：Blog精选AI 评分6868 NVIDIA Nemotron 3.5 Lightning 上架 Ollama，可完全本地运行
NVIDIA Nemotron 3.5 Lightning 现已登陆 Ollama，可完全在本地设备上运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 开放模型，面向需要持续运行的智能体任务，支持最高 1M token 上下文，借助 MTP、DFlash 或 DSpark 推测解码获得最高 4x 吞吐提升，并可比同类开源模型快 30% 完成任务。
推荐理由：原文给出了参数结构、上下文长度、吞吐数据和本地运行入口，读者可以据此判断它是否适合长期运行的本地智能体工作流。
蚂蚁百灵：Developer Blog精选AI 评分6666 蚂蚁百灵开源 Ling-3.0-tiny：7.9B 总参数、每 Token 激活 1.3B
蚂蚁百灵正式开源 Ling-3.0-tiny，总参数 7.9B，每 Token 仅激活 1.3B，同步提供 BF16、FP8 和 INT4 三个版本。
推荐理由：官方给出了综合指数与实测数据，读者可以据此评估这款轻量模型在端侧部署和本地 Agent 场景的可用性。
LMSYS Blog精选AI 评分7272 SGLang 为 Muse Glimmer 提供 Day-0 支持，针对本地智能体工作流优化推理
SGLang 与 Meta Superintelligence Labs 合作，为 30B 参数多模态模型 Muse Glimmer 提供 Day-0 支持，该模型拥有 128k+ token 上下文窗口。
推荐理由：SGLang对Muse Glimmer的优化使30B多模态模型在RTX 5090上达到236 tok/s用户速度，本地智能体工作流不再受限于云端延迟。
- Unsloth AI@UnslothAI精选AI 评分7272
Meta 开源 30B 参数密集模型 Muse Glimmer，Apache 2.0 许可，支持视觉，可在 18GB RAM/VRAM 环境本地运行，定位于本地智能体与编码工作流。
引用Mark Zuckerberg@finkd今天我们还将开放 Muse Glimmer 的权重，这是一个出色的 30B 参数稠密模型，可以在本地运行。很快我们还会发布 Muse Spark 1.2 的权重，这是我们最新的基础模型。Meta 是开源的有力支持者，我为这些发布感到自豪。祝贺 @alexandr_wang 和 MSL 团队在这些模型上所做的出色工作。
推荐理由：Meta 开源 30B 密集视觉模型，18GB 内存可本地运行，作者还提供了 GGUF 和运行训练指南，方便直接上手。
AI at Meta@AIatMeta精选AI 评分5858推荐理由：将一个 30B 模型以 Apache 2.0 许可完全开源并针对本地智能体优化，为需要离线运行或数据不出设备的 Agent 应用提供了更轻量的选择。
Simon Willison 博客精选AI 评分7474 MiniMax-H3 通过 MLX 移植可在 Apple Silicon 上运行
MiniMax 发布 MiniMax-H3，一个可接受文本、图像、音频和视频并生成最长 15 秒带音频视频片段的通用全模态生成系统。Python 包 PipeNetwork/minimax-h3-mlx 将其移植到 MLX，支持 Apple Silicon 运行。作者在 M5 Max MacBook Pro 上实测，下载约 115 GB 模型文件，视频生成耗时不到 45 分钟。
推荐理由：在 M5 Max 上生成本地视频的 45 分钟耗时，为判断这类模型何时能进入日常工作流提供了具体的参照。
Liquid AI 模型与工程博客精选AI 评分7070 Liquid AI 发布端侧智能体模型 LFM2.5-2.6B
Liquid AI 发布 LFM2.5-2.6B，一个可完全在设备端运行的 2.6B 参数智能体模型，预训练约 34T tokens，词表扩展至 128K，Base 和 post-trained 权重已在 Hugging Face 开放。
推荐理由：原文给出了训练流程、基准对比和 CPU/GPU 吞吐数字，读者可以据此评估端侧智能体部署的可行性与取舍。
Liquid AI 模型与工程博客精选AI 评分6565 Liquid AI 发布 LFM2.5-Encoder-230M 与 350M 双向编码器，长上下文下 CPU 推理最快
Liquid AI 发布 LFM2.5-Encoder-230M 和 LFM2.5-Encoder-350M 两个基于 LFM2 混合架构的双向编码器，支持 8,192 token 上下文，已在 Hugging Face 开放下载。
推荐理由：原文给出双向编码器的架构改动、17 项任务微调评测和长上下文 CPU 吞吐对比，读者可以据此评估其在边缘和本地部署中的适用性。
Tomasz Tunguz 博客精选AI 评分6262 OpenRouter 上的 AI 模型市场细分：GPT-OSS 120b 流量达 Opus 4.8 的三分之一
OpenRouter 上的 AI 模型市场已高度细分，OpenAI 一年前的开源模型 GPT-OSS 120b 流量达到 Anthropic Opus 4.8 的 36%。
推荐理由：作者用本地实测数据说明MoE架构让118b模型跑出26b的解码成本，端侧模型质量上限正在被竞争推高。
Hugging Face 社区博客精选AI 评分7070 NVIDIA 发布 Cosmos 3 Edge：4B 参数开源世界模型，为机器人及边缘 AI 提供实时推理与动作生成
NVIDIA 在 Hugging Face 上开源了 Cosmos 3 Edge，一个 40 亿参数的世界模型，旨在帮助机器人和视觉 AI 智能体在边缘设备上理解环境、实时推理并生成动作。
推荐理由：NVIDIA 把世界模型的能力压进 4B 参数，直接在 Jetson 上实时推理并生成机器人动作，对做具身智能的人来说是个标志性信号，边缘部署终于可以摆脱云端依赖了。
公众号：面壁智能精选AI 评分6868 MiniCPM5-2B发布：4B以下全球性能第一，适配9款芯片
面壁智能联合OpenBMB发布端侧模型MiniCPM5-2B，以2B参数量在AA-Index榜单取得4B以下模型最高分17分，平均分54.26，超越Qwen3.5-2B等竞品。模型原生支持混合思考与512K上下文，已完成华为昇腾、英伟达等9款芯片的Day0适配，即将开源。
推荐理由：2B 参数做到 4B 以下综合第一，而且把数据治理和 Agent 训练流程也开源了，做端侧智能体的可以盯一下，只是还没正式开源，暂时摸不到。
公众号：面壁智能精选AI 评分6464 面壁智能发布端侧模型 MiniCPM5-2B，登顶 4B 以下性能榜首
面壁智能联合 OpenBMB 在 WAIC 2026 发布端侧模型 MiniCPM5-2B，以 2B 参数量在 AA-Index 榜单登顶 4B 以下模型榜首，平均分 54.26，超 Qwen3.5-2B（41.66）。模型原生支持混合思考与 512K 上下文，Agent 能力得分 90.35，并完成华为昇腾、英伟达等 9 款芯片的 Day0 适配。
推荐理由：长文本理解得分42.33、Agent能力τ²-Bench得分90.35，这些具体指标为端侧开发者评估2B模型的多步推理和工具调用提供了明确参照。
X.PIN@thexpin精选AI 评分7878推荐理由：苹果选阿里Qwen为中国AI引擎，蔡崇信已确认，网信办也已备案，这事对国内AI厂商的竞争格局影响不小，做国内市场的应该认真看一眼。