技术方向
直接跑在手机、电脑等设备上的 AI：小模型、在本机运行模型的工具与端侧芯片。
177 条精选近 30 天 25 条共收录 1,934 条
Aravind Srinivas@AravSrinivas精选AI 评分6565Perplexity Computer 现在可以在你的 Mac 上完全本地运行。 与你的原生 Mac 应用和本地文件协同工作，运行任务时无需将敏感数据发送到云端。模型和智能体都在你的 Mac 上运行。 现已在 Perplexity Mac 应用中提供。
推荐理由：Perplexity CEO 亲自宣布，Perplexity Computer 可完全本地运行，敏感数据无需上云，对关注隐私和离线使用的人有参考价值。
面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度（LES）技术，称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行，iPhone 18 Pro Max 实测解码超 20 token/s。
推荐理由：原文拆解了 LES 在调度、存储、计算三层的具体设计，并给出消融数据，方法可迁移到其他 MoE 模型的端侧部署。
数字生命卡兹克@Khazix0918精选AI 评分6868推荐理由：作者亲测 RTX Spark 上的本地模型部署路径，并把整套流程封装成 WorkBuddy 专家，读者可以照着复现本地 Token 自由的用法。
数字生命卡兹克分享华硕ProArt创16（RTX Spark N1X芯片、128G统一内存、37999元）的一周深度使用体验，该机全球开售时128G版本在京东几分钟内被抢空。
推荐理由：作者用一周实测讲清了如何在128G统一内存的RTX Spark笔记本上部署本地模型，并给出可复用的WorkBuddy专家整合流程。
NVIDIA 宣布 RTX Spark 笔记本正式开售，来自 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI，起价 $2,599。
推荐理由：原文来自 NVIDIA 官方发布，完整列出 RTX Spark 的硬件规格、AI、创作与游戏能力和首发机型，可据此评估本地 AI PC 的实际用途。
NVIDIA 发布开源 1200 亿参数多模态模型 Nemotron 3.5 Super VL，以及面向端侧的 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB（后者 10 月 23 日上线）。
推荐理由：NVIDIA 官方给出了三个新模型各自的参数规模、部署档位和可用时间，读者可以据此为不同层级的 Agent 部署选择对应模型。
Black Forest Labs 发布 5.6B 参数开源权重模型 FLUX 3 Image Klein，支持文生图、图像编辑和最多 10 张参考图的多参考生成，采用 FLUX Kommunity License。
推荐理由：官方公布了参数规模、显存门槛、生成速度和评测对比，读者可以评估它在本地部署与微调场景中的适配性。
Liquid AI 发布开源权重模型 LFM2.5-24B-A2B，总参数 24B、每 token 激活 2B，定位端侧快速智能体。
推荐理由：原文给出完整基准对比、端侧推理速度和开源权重入口，读者可据此评估该模型在本地智能体场景的适用性。
NVIDIA 官宣 RTX Spark 笔记本将于 10 月 16 日发售，配合发布推出覆盖 Agent、创意和开发工具的软件更新，该超芯片具备最高 128GB 统一内存和 1 petaflop AI 算力。
推荐理由：官方汇总了 RTX Spark 上市前的软件生态准备，从本地 Agent、创意应用到开发工具和 DLSS 5，读者可据此了解平台落地细节。
面壁智能联合 OpenBMB 社区于10月13日发布并开源 MiniCPM-V 4.7，包含 35B-A3B 和 1B 两个版本，称其为全球首个可在端侧无损流畅运行的开源 MoE 多模态大模型。
推荐理由：原文详解了 LES 专家调度、权重布局优化和视觉 token 压缩等技术细节，读者可以了解 MoE 模型在 3GB 内存端侧设备上的实现路径。
千问发布三款硬件新品：AI眼镜N1、N1 Pro和AI耳夹式耳机，今日在淘宝、天猫、京东、抖音等平台现货开售，眼镜到手价2218元起，耳机1099元起。
推荐理由：官方发布三款AI穿戴硬件，原文给出具体功能差异与到手价格，读者可据此判断是否值得入手。
Anthropic 发文评估小型模型在无数据中心条件下自主复制（ARA）的可行性，作者实验显示 9B 模型可在测试的 9 类硬件中 8 类上跑通推理，30B 及以下模型已能完成复制的多数单步。
推荐理由：Anthropic 用自购的 15 台廉价电视盒实测小模型分布式推理与复制链路，读者可据此评估 AI 蠕虫这类威胁的近期可行性。
Google AI Edge 团队以 Apache 2.0 许可开源 ML Drift，一个跨平台端侧 GPU 推理计算引擎，作为 LiteRT 的核心 GPU 加速层。
推荐理由：原文给出跨平台 GPU 推理引擎的架构升级、性能数据和生产落地案例，端侧 AI 开发者可据此评估迁移路径。
NVIDIA 与 Microsoft 在旧金山活动上宣布为 Windows PC 共同打造 AI Agent 软硬件。
推荐理由：原文给出 RTX Spark 的具体规格、预购时间与 MXC 的系统级细节，读者可据此评估本地跑 Agent 的硬件路线。
Liquid AI 发布开源权重决策模型 d1-3B 和 d1-omni-600M，已在 Hugging Face 上提供。
推荐理由：官方公开了模型架构、训练细节和各硬件延迟数据，读者可以据此评估小参数决策模型在边缘部署中的取舍。
Google DeepMind 发布 EmbeddingGemma 2，基于 Gemma 4 架构，以 Apache 2.0 许可开源，将文本、代码、图像、视频和音频映射到统一嵌入空间。
推荐理由：官方发布给出参数量、内存占用、维度裁剪和基准分数等具体细节，读者可据此评估端侧多模态嵌入方案的可行性。
Google DeepMind 于 10 月 6 日发布开放权重的多模态嵌入模型 EmbeddingGemma 2，将文本、图像、视频帧和音频映射到统一向量空间，参数量 740M。
推荐理由：原文给出内存占用、延迟和多种开发入口的具体数据，读者可以据此评估在本地多模态检索场景的落地方式。
NVIDIA 宣布 DGX Spark 推出 64GB 统一内存新配置，10 月 23 日起由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 发售，起步价 $4,999，支持最高 1000 亿参数模型在端侧运行。
推荐理由：官方公告给出64GB版的价格、上市时间和双机集群性能数据，读者可以据此评估本地AI部署的内存与成本取舍。
Artificial Analysis 发布开源工具 AA-AgentPerf-Local，通过重放 8 个真实智能体任务（168 轮、上下文增长至约 56K tokens）测试本地推理性能，并上线笔记本与工作站排行榜。
推荐理由：原文给出四种桌面级硬件和四个模型的智能体推理实测结果与全部开源配置，可帮读者在搭建本地 agent 前做选型比较。
Ollama 0.35 通过新 /v1/systemone 端点支持基于 TypeSafe Jev API 的决策模型，可在本地一次请求回答多个命名问题，适合工单分诊、模型路由和内容审核等快速决策任务。
推荐理由：官方宣布本地运行决策模型，给出延迟数据和 API 用法，可帮助读者评估本地快速决策场景的可行性。