技术方向
跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
165 条精选近 30 天 15 条共收录 1,866 条
Unsloth AI@UnslothAI精选AI 评分6666Qwen3.8-Flash 现在可以在本地运行了！🔥 这个 125B 的 MoE 模型表现超过了 Claude-Opus-4.6（Max）。 通过 Unsloth GGUF 在 75GB 内存上运行。 Qwen3.8-Flash-Next 让 CPU 内存 / 统一内存配置也能达到接近 VRAM 的速度。 指南：https://unsloth.ai/docs/models/qwen3.8-next GGUF：https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF
推荐理由：原文给出了 MTP 加速的具体倍数、显存门槛和各量化档位内存需求，读者可以据此判断自己的设备能否跑通。
Unsloth AI@UnslothAI精选AI 评分8181⚡️认识一下 Qwen3.8-Flash，一个多模态 MoE 模型，也是 Qwen4 架构的早期预览版，现已开放权重！ 生产版本的 Qwen3.8-Flash 即将通过 QwenCloud API 提供，价格仅为每 100 万输入 token 0.16 美元，每 100 万输出 token 0.47 美元。 125B 参数 + 51B N-gram 嵌入，每个 token 仅激活 6B 参数。性价比无与伦比。 新特性：🥳 - 下一代架构：GDN + QSA 混合注意力、门控残差、N-gram 嵌入和 Muon 优化器，作为 Qwen4 所用架构的前身。 - 训练和推理成本大幅降低：训练成本仅为 Qwen3.7-Plus 的 1/9，同时在各方面表现均优于后者，在编程和办公任务上尤其突出。 - 性能强劲：在 DeepSWE 1.1 上得分 58.7，在 SWE-bench Pro 上得分 62.5，在 CoWorkBench 上得分 73.9，在 AndroidWorld 上得分 84.5，在 MathVision（带 CI）上得分 95.7。 - 原生 262K 上下文，可通过 YaRN 扩展至 1M。 我们还发布了 Qwen3.8-Flash-Next 的权重，让社区提前一睹我们为 Qwen4 探索的新架构。🚀 我们迫不及待想看看你用 Qwen3.8-Flash 构建出什么！👀👇 - 博客：https://qwen.ai/blog?id=qwen3.8-flash-next - 技术报告：https://github.com/QwenLM/Qwen3.8-Flash-Next/blob/main/tech_report.pdf - Hugging Face：https://huggingface.co/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921FsyOPe&file=Qwen3.8-Flash-Next - ModelScope：https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921XAP2dV&file=Qwen3.8-Flash-Next
推荐理由：原文给出了本地运行所需的内存档位与量化精度权衡，读者可据此判断自己的设备能否跑动这个 MoE 模型。
腾讯混元将端侧翻译模型 Hy-MT2-1.8B 通过 2-bit 与 1.25-bit 量化方案压缩至 574MB 和 440MB，翻译质量几乎无损，在 FLORES-200 上优于 Microsoft Translator 等商业 API。该模型已联合英特尔完成 x86 适配，并在哔哩哔哩直播弹幕实时翻译中落地，单条弹幕翻译耗时 500~800ms。
推荐理由：相比精度数字，这套量化给出 x86 优化和直播弹幕实测数据，让端侧替代云翻译 API 的成本与隐私权衡有了可对照的工程基线。
Apple 推出首款 2nm 芯片 M6，搭载 12 核 CPU、12 核 GPU 及双 16 核神经引擎，统一内存带宽最高 170GB/s，多线程性能较 M5 提升 1.2 倍。M5 Ultra 采用首款四芯片封装架构，最高 36 核 CPU、80 核 GPU，带宽达 1.2TB/s，较 M3 Ultra 提升 50%。两款芯片分别用于新款 Mac mini 与 Mac Studio。
推荐理由：M5 Ultra 的 512GB 统一内存和 1.2TB/s 带宽，让数百亿参数模型可以完全在本地运行，降低了大模型本地部署的硬件门槛。
Apple 发布搭载 M5 Max 与全新 M5 Ultra 的 Mac Studio，AI 性能最高提升 4.3 倍，图形性能提升 1.8 倍，存储速度提升 2 倍。M5 Ultra 版本支持最高 512GB 统一内存与 1.2TB/s 内存带宽，可完全在设备端运行大型 LLM；四台集群可带来最高 3 倍分布式 AI 推理速度提升。新品今日起接受预购，9 月 22 日开售。
推荐理由：M5 Ultra 的 512GB 统一内存与每 GPU 核神经加速器，让本地运行超大规模 LLM 从演示走向可用，云成本与 token 计费不再是部署前置条件。
斯坦福大学与Together AI研究显示，本地AI模型在超百万条真实查询中，对89%的日常聊天与推理问题的回答质量已不输云端前沿模型。本地模型对前沿模型的胜/平率从2023年的23.2%升至2025年的71.3%，智能每瓦特效率同期提升5.3倍。相比全云端方案，本地模型加路由器的组合可降低80%能耗、77%算力与74%成本，但云端在多步推理与高难度领域仍具优势。
推荐理由：作者借 Koomey 定律类比，把本地模型与云端效率数据放进历史框架，帮助读者理解端侧 AI 的演进节奏。
Hao AI Lab@haoailab精选AI 评分7171
推荐理由：在Apple Silicon本地生成视频，把云端视频生成的计算依赖降到了消费级硬件，为需要数据隐私或低成本原型创作的工作流提供了替代路径。
Liquid AI 发布基于量化感知蒸馏（QAD）训练的 LFM2.5-230M、350M、1.2B-Instruct 和 2.6B 四款 Q4_0 GGUF 检查点，在保持原生 Q4_0 内存与速度的同时，恢复 BF16 平均精度损失的 97%。
推荐理由：QAD 量化蒸馏恢复 Q4_0 模型九成六以上 BF16 精度，对应树莓派和手机等边缘设备，在保持低内存与高吞吐的同时缩小与全精度模型的差距。
本地运行的 Qwen3.8-27B 在 Artificial Analysis 智能指数上以 52 分位列 135 个模型之首，超过 7530 亿参数的 GLM-5.2。在 25 项风投任务评测中，它与云端 DeepSeek V4 输出质量同为 8.0 分，但需多花 7.2 倍 token 思考，速度慢约 9 秒。小模型靠更长的链式推理弥补知识差距，而非直接给出答案。
推荐理由：作者用同一套 VC 任务实测云端与本地模型，给出质量、速度与思考 token 的具体数据，展示小模型靠推理补知识差距的路径。
阿里 Qwen 实验室发布 Apache 2 许可的 27B 参数视觉大模型 Qwen 3.8 27B，官方基准显示其超越前代 Qwen 3.6 27B 及闭源 Qwen 3.7-Plus。
推荐理由：把 Qwen 3.8 27B 的推理档位成本量化成时间差异，xhigh 默认让生成同一 SVG 从 137 秒膨胀到 21 分钟，这个默认值比能力更影响本地选型。
Unsloth AI@UnslothAI精选AI 评分7676Unsloth 发布 Qwen3.8-27B 的 Dynamic GGUF 量化版本，4-bit 量化可在 17-19GB 内存设备上本地运行，并同时上传 NVFP4 量化。
我们承诺过开源 Qwen3.8 的模型权重。现在，是时候见面了！🎉 ⚡ Qwen3.8-27B： - 一款原生多模态稠密模型。仅凭 27B 参数，综合表现超越 Qwen3.7-Plus，在真实世界的编码与办公工作流中尤为亮眼。 - 原生支持 262K 上下文，可通过 YaRN 轻松扩展至 1M tokens。 - 为开发者而生。高效、高质量，并采用 Apache 2.0 许可证。 🚀 Qwen3.8-2.4T-A95B（Max 级别）的开放权重也已于近日发布。 无论你是想用 Qwen3.8-27B 在本地部署轻量级应用，还是用 Qwen3.8-2.4T-A95B 构建智能体，它们现在都属于你了！ 下载、部署，去构建我们尚未想象到的东西吧。👀👇 - Hugging Face： https://huggingface.co/collections/Qwen/qwen38 - ModelScope： https://www.modelscope.cn/collections/Qwen/Qwen38
推荐理由：原文给出了本地运行的具体内存门槛、量化版本和硬件对照表，读者可以据此判断能否在自己的设备上跑通这个 27B 模型。
Liquid AI 发布 LFM2.5-VL-3B 视觉语言模型，屏幕理解 ScreenSpot-v2 平均 80.7，ToolSandbox 从 26.4 升至 59.5，RefCOCO 从 57.1 升至 87.9。
推荐理由：官方给出与更大模型对比的基准数据和端侧、GPU 实测速度，读者可据此评估它在边缘部署场景的适用性。
Google 发布教程，讲解如何用 LiteRT 和 Gemma 在 Raspberry Pi 5 上实现完全离线的实时边缘 AI，并演示其驱动 Reachy Mini 机器人。
推荐理由：原文给出 LiteRT-LM 在树莓派 5 上运行 Gemma 的具体性能数字与 CPU/GPU 分工架构，还附完整部署命令，方法可直接迁移到自己的边缘部署。
NVIDIA 发布 Nemotron 3.5 Lightning，一款可定制的开源 30B 混合专家（MoE）模型，专为常驻智能体设计。相比同类开源模型，其 token 生成速度最高提升 4 倍，任务完成时间缩短 30%。该模型采用开放权重，支持用户微调以匹配特定任务，并可在 RTX PC、DGX Spark 及 Jetson 等设备上运行。
推荐理由：本地运行 30B MoE 模型并声称 4 倍加速，与开源路由器结合可自动分配任务到最合适模型，给控制推理成本提供了新路径。
蚂蚁百灵开源 Ling-3.0-tiny，一款总参数 7.9B、每 Token 仅激活 1.3B 参数的原生混合推理模型，同步提供 BF16、FP8 和 INT4 三个版本。
推荐理由：1.3B 激活参数在 Mac 上实测首 Token 低于 100 毫秒，比只看参数量的轻量叙事更有参考价值，端侧 Agent 的落地边界因此更具体。
蚂蚁百灵开源 Ling-3.0-tiny，一款总参数 7.9B、推理时仅激活 1.3B 参数的原生混合推理模型，同步提供 BF16、FP8 和 INT4 三个版本。
推荐理由：以1.3B激活参数取得接近4B激活模型的综合能力，同时Agent分数超越部分30B+模型，多精度开源和本地部署方案让轻量Agent应用更易落地。
NVIDIA Nemotron 3.5 Lightning 现已登陆 Ollama，可完全在本地设备上运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 开放模型，面向需要持续运行的智能体任务，支持最高 1M token 上下文，借助 MTP、DFlash 或 DSpark 推测解码获得最高 4x 吞吐提升，并可比同类开源模型快 30% 完成任务。
推荐理由：原文给出了参数结构、上下文长度、吞吐数据和本地运行入口，读者可以据此判断它是否适合长期运行的本地智能体工作流。
SGLang 与 Meta Superintelligence Labs 合作，为 30B 参数多模态模型 Muse Glimmer 提供 Day-0 支持，该模型拥有 128k+ token 上下文窗口。
推荐理由：SGLang对Muse Glimmer的优化使30B多模态模型在RTX 5090上达到236 tok/s用户速度，本地智能体工作流不再受限于云端延迟。
Unsloth AI@UnslothAI精选AI 评分7272Meta 开源 30B 参数密集模型 Muse Glimmer，Apache 2.0 许可，支持视觉，可在 18GB RAM/VRAM 环境本地运行，定位于本地智能体与编码工作流。
今天我们还将开放 Muse Glimmer 的权重，这是一个出色的 30B 参数稠密模型，可以在本地运行。很快我们还会发布 Muse Spark 1.2 的权重，这是我们最新的基础模型。Meta 是开源的有力支持者，我为这些发布感到自豪。祝贺 @alexandr_wang 和 MSL 团队在这些模型上所做的出色工作。
推荐理由：Meta 开源 30B 密集视觉模型，18GB 内存可本地运行，作者还提供了 GGUF 和运行训练指南，方便直接上手。
AI at Meta@AIatMeta精选AI 评分5858推荐理由：将一个 30B 模型以 Apache 2.0 许可完全开源并针对本地智能体优化，为需要离线运行或数据不出设备的 Agent 应用提供了更轻量的选择。