Edge0 开源 145B 端侧模型，可在笔记本本地运行
Edge0-145B: Frontier AI Capabilities on Your Own Computer
Edge0 宣布开源 Edge0-145B 与 Edge0-120B 模型及统一推理框架和部署工具，称 Edge0-145B 是首个可在个人电脑本地运行的 145B 参数开源模型。
原文给出具体基准分数、内存和速度实测数据，并开源了权重和推理框架，读者可据此评估端侧大模型的实际可用性。
今天，我们开源了 Edge0-145B 和 Edge0-120B，同时发布统一的推理框架和部署工具。Edge0-145B 是全球首个开源的 1450 亿参数端侧 AI 模型，把足以比肩前沿云端模型的编程、推理和智能体能力，带到了你自己的电脑上。
长期以来，端侧 AI 一直被迫在模型能力和硬件可运行性之间做取舍。模型越大，对内存、带宽和功耗的要求越高；模型越小，又难以胜任复杂任务。把这类工作放到云端，则会带来模型服务商费用、数据处理限制以及对网络的依赖。
本次发布从四个方面应对这些限制：
| 限制 | Edge0-145B 带来的可能 |
|---|---|
| 大模型难以在个人硬件上运行。 | 145B 模型可在兼容的笔记本电脑上本地运行，报告峰值内存为 29GB，解码速度超过 80 tokens/s。 |
| 端侧小模型在高难度任务上可能力不从心。 | 编程、推理和指令遵循的表现可与特定的前沿云端模型竞争，具体对比见下文。 |
| 一个有用的助手需要把活干完，而不只是回答问题。 | 该模型能规划、编写并运行代码，调试错误，并通过视觉检查结果，适用于 3D 场景、游戏、硬件程序和 PCB 设计等项目。 |
| 云端工作流会带来持续费用、敏感数据限制和网络依赖。 | 本地推理不产生相应的云端模型 token 或 API 费用；数据可以留在电脑上，核心能力在离线状态下仍可正常使用。硬件和电费仍然要花钱。 |
我们发布完整技术栈，让开发者能够复现结果、评估或微调模型，并将其集成到自己的产品中。
我们如何让 100B+ 参数 AI 在个人电脑上运行
Edge0-145B 笔记本性能：内存、速度与功耗
Edge0-145B 让 1450 亿参数的模型在个人笔记本上变得可用。一个有用的本地模型必须能装进内存、及时处理提示词、生成速度足够快，并且把功耗控制在合理范围内。它还需要能支撑较长的任务。
| 要求 | Edge0-145B 报告结果 | 带来的能力 |
|---|---|---|
| 内存 | 29GB 峰值内存 | 可在兼容的个人笔记本（如 MacBook Pro）上运行，无需服务器。 |
| 提示词处理 | 1,100+ tokens/s 预填充 | 在开始生成前处理长提示词，包括数十页代码。 |
| 生成 | 80+ tokens/s 解码 | 生成速度快于人的阅读速度。 |
| 功耗 | 典型功耗约 120W | 在报告所述配置下可持续运行而不降频。 |
| 长任务 | 128K–256K 上下文 | 在长输入下基本保持相同速度，支持长时间工作。 |
我们此前发布的 Edge0-35B 手机版报告峰值内存低于 2.5GB。在 iPhone 18 Pro Max 上，Edge0-35B 使用约 2.5GB 内存，达到 37+ tokens/s。Edge0-145B 的参数规模约为其四倍；其笔记本对比报告为 80+ tokens/s 和 28GB 峰值内存。这些测量结果针对不同的模型和硬件。
端侧模型规模随时间的变化。图表涵盖来自 14 个实验室的 67 个参数量至少 1B 的开放模型，面向手机、笔记本电脑和 AI PC。同尺寸的基础版、指令版和推理版只计一次；每条线追踪一个实验室最大的模型，包括 2025 年 7 月之前的发布。实心点表示新高，空心点表示其他发布。40B 以下采用对数刻度，以上采用线性刻度。Apple 因未公开权重而被排除。来源：厂商公告和模型卡。
端侧模型为何一直做不大
在 2026 年 9 月之前，内存限制使大多数端侧模型的参数量低于 10B。Apple Intelligence 的端侧基础模型约有 3B 参数，Google 的 Gemini Nano 则有 1.8B 和 3.25B 两个版本。即便是 7B 模型，也可能占用约 4GB 内存。
更大的模型撞上了内存墙。模型权重占用存储空间，生成时必须读取，会与操作系统和其他应用争抢有限的内存和带宽。即便经过激进压缩的 35B 模型，也可能需要约 20GB 内存，远超手机所能提供的水平。
算力、带宽和功耗构成了相互制约的约束。更大的模型能力更强，却会挤压内存容量、生成速度和续航。把模型做小有助于装进设备，但往往要以能力为代价。
仅靠隐私无法弥合这一差距。Apple Intelligence 保护了用户数据，但 Apple 承认其端侧模型并非为需要通用世界知识的智能体应用而设计。当时的普遍假设是，端侧智能无法与云端匹敌。
Edge0 的内部设计：模型与推理设计的四个层面
我们同时设计了 Edge0-145B 及其推理引擎，以减少让大模型难以在本地运行的内存占用和数据搬运。设计涵盖架构、训练、加载和调度。
架构：在稀疏专家之间共享大矩阵。共享矩阵能大幅减少需要存储和搬运的权重，同时保持专家数量不变。每 64 个专家共享两个大矩阵，每个专家则保留一小组参数来体现自身差异。此前，每个专家都存储一整套矩阵。在模型 145B 的总参数中，每次推理步骤只有约 10B 参与计算。
训练：从第一天起就为本地执行而构建。我们从一开始就按端侧架构训练模型，把部署约束融入设计。这样就无需在训练完云端模型后，再把本地部署当作压缩或剪枝步骤来处理。
加载：让 GPU 内存、系统内存和 SSD 访问形成流水线。读取和计算在三个存储层级之间重叠进行，避免串行等待。常用的“热专家”常驻 GPU 内存。约 40GB 的专家库放在系统内存中，按需将专家调入 GPU 内存。约 48GB 的词表数据存放在 SSD 上，按需读取。
调度：让 CPU 和 GPU 协同工作。GPU 计算已缓存的专家，CPU 并行处理剩余工作。投机解码一次验证多个候选 token，把读取权重的成本分摊到更多输出 token 上。这些选择支撑了所报告的 80+ tokens/s 解码速度。
模型与推理引擎的协同设计，让 100B+ 参数模型在个人电脑上推理成为现实。来源：内部测试。
这些改进叠加起来，让参数量从数百亿增长到一千亿以上，而内存占用、功耗和延迟并没有成比例上升。
Edge0 能做什么：从聊天到在电脑上完成复杂工作
Edge0-145B 能把一项复杂任务推进到可用的结果。它的编程和推理能力可以支撑本地工作流，把规划、工具调用、执行、调试和视觉检查串起来。基准测试证明了它的能力，演示则展示了它如何把这些能力用起来。
编程与推理能力比肩前沿云端模型
在编程、推理、知识和指令遵循方面，Edge0-145B 与若干前沿云端模型不相上下：
- 编程：它在 DeepSWE 1.1 上得分 64.6，高于 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。
- 推理与知识：它在 GPQA-Diamond 上得分 90.4，接近 DeepSeek-V4-Flash-0731 的 90.8 和 Claude-Opus-4.6 \(Max\) 的 91.3。
- 指令遵循：它在 IFBench 上得分 80.6，高于 DeepSeek-V4-Flash-0731 的 79.2 和 Claude-Opus-4.6 \(Max\) 的 62.5。
它在 Terminal-Bench 2.1 上的 86.52 也超过了 Qwen3.8-Flash-Next 的 83.3、DeepSeek-V4-Flash-0731 的 82.7 和 Claude 的 78.2。在 AA-LCR 上，Edge0-145B 得分为 79.3，Claude 为 78.0。这些对比仅适用于所列模型和评测。
| 模型 | DeepSWE 1.1 | Terminal-Bench 2.1 | HLE | GPQA-Diamond | IFBench | AA-LCR |
|---|---|---|---|---|---|---|
| Edge0-145B | 64.6 | 86.52 | 35.4 | 90.4 | 80.6 | 79.3 |
| Edge0-120B | 53.6 | 81.3 | 31.0 | 87.4 | 79.3 | 81.0 |
| Qwen3.8-Flash-Next | 58.7 | 83.3 | 35.9 | 91.7 | 81.3 | 79.1 |
| Qwen3.8-27B | 42.2 | 73.0 | 30.8 | 89.2 | 79.5 | 82.0 |
| DeepSeek-V4-Flash-0731 | 54.4 | 82.7 | 33.8 | 90.8 | 79.2 | 79.7 |
| Flint 40B | — | 54.9 | — | — | 89.2 | — |
| Muse Glimmer | — | 51.7 | 22.0 | 83.5 | 77.0 | 83.3 |
| Gemma 4 | — | 43.4 | 22.7 | 85.7 | 76.0 | 62.0 |
| Claude-Opus-4.6 \(Max\) | — | 78.2 | 40.0 | 91.3 | 62.5 | 78.0 |
得分为百分比，越高越好。短横线表示没有公开得分，而不是得分为零。
Edge0、Qwen、DeepSeek 和 Claude 的结果来自 Edge0 的内部评测。Claude-Opus-4.6 没有公开的 DeepSWE 1.1 得分。Flint、Muse Glimmer 和 Gemma 4 的 Terminal-Bench 2.1 与 IFBench 结果来自 Recursive Flint 评测；HLE、GPQA 和 AA-LCR 结果来自 Artificial Analysis。
相比主流端侧模型基线 Qwen3.8-27B，提升最大的是智能体和编程任务：Terminal-Bench 提升 18.5%，DeepSWE 提升 53.1%。HLE、GPQA 和 IFBench 的相对提升分别为 14.9%、1.3% 和 1.4%。
DeepSWE 1.1 和 Terminal-Bench 2.1 评测智能体与编程任务，HLE、GPQA-Diamond 和 IFBench 覆盖推理、知识和指令遵循。完整的评测设置、硬件环境和复现说明将随技术报告一并发布。
能力有竞争力，内存占用更小
Edge0-145B 在六项基准测试上平均得分 72.8，实测峰值内存 29GB。Qwen3.8-Flash-Next 平均 71.7，标准 4-bit 部署的估计占用约 70GB。也就是说，Edge0-145B 的内存约为该基线估计值的 40%，能力却相当或更高，因此可以在一台 48GB 的笔记本上本地运行。
| 模型 | 六项基准测试平均值 | 内存占用 \(实测或估计\) |
|---|---|---|
| Edge0-145B | 72.8 | 29GB |
| Edge0-120B | 68.9 | 29GB |
| Qwen3.8-27B | 66.1 | 约 18GB* |
| Qwen3.8-Flash-Next | 71.7 | 约 70GB* |
| DeepSeek-V4-Flash-0731 | 70.1 | 约 87GB* |
这些指标涵盖 DeepSWE 1.1、Terminal-Bench 2.1、HLE、GPQA-Diamond、IFBench 和 AA-LCR。Edge0 的内存数据为内部实测峰值。带星号的基线数据是标准 4 位部署的估算值，尚待实测。Claude 未纳入对比，因为它仅提供云端服务，且没有 DeepSWE 分数。
[Figure: 质量与峰值内存对比图，标注了 48GB 笔记本和 64GB 工作站的容量。内存越低、分数越高越好；图表纵轴并非从零开始。]
能规划、写代码、运行并检查工作的本地智能体
一句自然语言请求就能启动整套本地工作流。Edge0-145B 会拆解需求、规划步骤、编写代码，并调用工具运行。一旦出错，它会调试并修复代码，然后截图检查结果，不断迭代直到任务完成。
这类项目往往需要几十轮规划、执行和审查。本地推理意味着这些额外的对话、代码修改和视觉分析不会产生相应的云端模型 token 或 API 费用。代码和数据可以留在本机，核心模型能力离线也能用。
视频制作：一小时内生成特斯拉 Roadster 讲解视频
Edge0-145B 制作了一支讲解 Roadster 如何飞行的视频，涵盖技术调研、脚本撰写、素材生成和剪辑。我们要求它把原理讲得让普通观众也能听懂。模型全程本地运行，没有调用云端模型，也不消耗云端 token，省去了推理的网络往返。
视频在一小时内生成。若由人工完成同等质量的工作，需要导演兼编剧、3D 建模师、剪辑师和物理学专家花上一个月。此前的 AI 视频工作流成本可能超过数百美元；本地推理免去了相应的云端模型 token 和 API 费用。
3D 建模：在 Blender 中搭建曼哈顿城市场景
Edge0-145B 在一小时内搭建了一个曼哈顿 3D 场景。它在 Blender 中依据文字和参考图片构建场景、调整材质与灯光，并针对渲染结果反复迭代。
这套工作流把视觉检查、代码生成和修改都整合在 Blender 内。模型能处理物体、空间关系和创作目标，而不只是参考图片里的像素。它会检查结果、编写代码并做出修改，无需把这些步骤交回给人。整个过程都在本地完成。
人工制作曼哈顿规模的城市场景通常要花费约 12,000-18,000 美元，且至少需要一个月。领先的云端模型仍会产生超过 150 美元的云端 token 费用。Edge0-145B 在本地完成推理，无需这些云端模型 token 费用。
游戏开发：可玩的游戏与中世纪城市
Edge0-145B 能在本地制作可玩的游戏。我们还利用它的 3D 建模能力，为一款奇幻 RPG 搭建了一座原创中世纪都城，并渲染出达到游戏预告片水准的 20 秒飞越镜头。
模型独立规划了这座城市，并在 Blender 中从零搭建：城墙、一千多栋老城民居、广场喷泉、哥特式双塔立面、肋拱中殿和彩色玻璃窗。
固定的相机路径让错误无处遁形。几何穿模、遮挡或比例失调都会在这条路线上暴露出来，因此模型一边生成一边检查渲染结果，发现问题就修正。整个工作流完全在本地运行。
一个领先的云端模型在相同提示词、参考图和相机路线下，完成一次生成需要数百次工具调用和数亿个 token。Edge0-145B 则在一台笔记本电脑上完成了同样的任务，本地推理不产生云端模型的 token 费用或 API 费用。而美术团队通常要花上数周时间和数千美元，才能做出这种水准的城市场景。
硬件控制：让真实无人机飞起来的代码
Edge0-145B 只凭一句指令就写出了真实无人机的程序：“写一个无人机程序，让它穿过障碍物并找到红色背包。”
它在本地生成了飞行控制和视觉识别程序。随后无人机在室内起飞，穿过一排密集的障碍杆，自主搜索，并在墙边找到了红色背包。整个任务没有人工编写代码，也没有调用云端。
硬件开发者只需描述想要的行为，模型就能把它变成真实设备上的程序，不必在编辑器、文档和调试工具之间反复切换。
PCB 设计：从 KiCad 布局到装配动画
Edge0-145B 完成了一次 PCB 设计，从元件摆放一直做到装配可视化。我们让它为自己设计一块电路板。它从零开始在 KiCad 中操作，摆放元件，完成一块双层板的布线，再把设计导入 Unreal Engine 5，设置相机和灯光，渲染出一段 PCB 制造与装配的动画。
过去需要硬件工程师和 3D 设计师来回交接好几天的活，现在一台电脑就能完成。原理图和电路板布局可以留在团队自己的硬件上，满足商业秘密保护和数据处理要求，无需把设计上传到云端模型。
为什么做 Edge0：端侧 AI 的全栈能力
有用的端侧 AI 需要模型研发、推理工程和硬件适配协同发力。我们的进展建立在三项能力之上：快速开发互补的模型、优化全栈，以及把每次部署的经验带到下一次。
我们 9 月发布的 Edge0-35B 展示了这条路子在手机上能做到什么。发布帖在海外社区没有付费推广，第一天浏览量就超过 120 万。OpenAI、NVIDIA、高通等公司的研究人员和技术专家转发了它，模型登上 Hugging Face 总榜 Trending 第一。
我们同时发布了模型权重和统一推理框架，让企业和研究者有一套可复现的标准做法。这次发布推动端侧 AI 的讨论从几十亿参数级别迈向了 35B 级别。
面向端侧 AI 的四大模型系列
过去一年，我们发布了四个系列共 200 个模型。每个系列负责不同环节，从听和说，到快速决策、记忆和复杂智能体任务。
| 模型系列 | 作用 | 模型与能力 |
|---|---|---|
| Edge0 | 复杂智能体任务与 vibe coding | 面向笔记本的 145B 和 120B 模型；面向手机的 35B 和 8B 模型。笔记本模型支持 vibe coding，手机模型支持智能体任务。 |
| Audio8 | 听与说 | ASR-Infinite 以及 3B、0.6B、0.1B 语音识别模型；0.6B 和 0.1B 语音合成模型；以及用于端到端语音交互的 0.1B Chat 模型。 |
| Decision0 | 快速决策 | 0.6B 和 3B 模型覆盖文本、语音和视觉，多模态决策耗时约 40 毫秒。 |
| Embedding0 | 记忆 | 一款 0.6B 多模态嵌入模型，支持文本、语音、图像、视频和文件，可实现本地长期记忆与检索增强生成（RAG）。 |
产品组合覆盖数千万到超过一千亿参数。Edge0 和 Audio8 均已登上 Hugging Face Trending 榜首。
模型与推理系统协同设计
我们同步开发模型和推理框架，把硬件约束纳入训练过程，并针对不同芯片优化推理引擎。这样就把模型能力与本地运行所需的软硬件打通了。
这项工作需要模型开发、推理框架和底层硬件适配三方面的专业能力。只专注模型开发的公司很难复制这种组合。
硬件优化成果可复用到每一次部署
每一次部署都会为下一款芯片、模型或产品留下可复用的优化。这一点很重要，因为端侧硬件高度碎片化：NPU 架构各不相同，对 INT4、INT8、FP4 等数值格式的支持也不一样。通用模型无法自动充分利用每一款芯片。
我们会针对各个平台做适配。目前产品组合已覆盖 95% 的主流芯片平台，包括高通、BES、瑞芯微、全志、D-Robotics 和 NVIDIA，横跨耳机、眼镜、手机、PC 和机器人。这是产品组合层面的覆盖；不同模型的要求各异，并不意味着每台设备都能运行 Edge0-145B。
这些部署工作现已覆盖超过 500 万台量产设备。我们的开源模型在三个月内下载量突破 1500 万次。截至 2026 年 10 月，客户组织已超过 11 万家。
产品组合数据来自公司论文和内部测试，描述的是整个 Edge0 产品组合；本文中的 145B 性能结果仅针对 Edge0-145B。
Edge0-145B 首发即支持 macOS、Windows 和 Linux，包括 Apple M 系列芯片以及 RTX Spark、RTX 4090、RTX 5090 等 NVIDIA 平台。发布内容包含一键部署工具和硬件指南。
端侧 AI 与云端的未来
随着本地模型能力逼近云端水平，更复杂的工作也可以留在设备上完成。隐私、成本控制和离线可用性一直是本地执行的优势；剩下的问题只是端侧模型能否胜任。Edge0-145B 扩大了它可以承担的任务范围。
为什么更多 AI 工作可以留在本地
本地执行解决了采用纯云端 AI 的四个现实障碍：
- 控制云端模型成本。 随着使用量增长，本地推理不会产生相应的云端模型 token 或 API 费用。
- 让敏感数据留在本地。 代码、文档和业务记录可以留在硬件上，让团队掌控数据处理方式。
- 保持流畅体验。 模型与推理引擎的设计会统筹考虑响应速度、功耗、系统流畅度和持续运行。
- 核心能力可离线使用。断网时本地任务照常进行；依赖在线信息或服务的功能仍需联网。
从云端优先到更复杂的端侧工作
我们认为设备与云端的分工正在经历三个阶段。
2026年9月之前：云端优先，端侧辅助。Apple Intelligence 就处于这一阶段：它保护了隐私，但本地只能处理有限的任务，更繁重的工作仍依赖云端能力。
Edge0-35B 于9月10日发布之后：日常任务在本地，复杂任务在云端。本地模型可以承接需要即时响应的频繁请求。以一家领先的耳机厂商为例，我们的混合方案目前有92%的 AI 使用在端侧完成，8%在云端。在消费级可穿戴设备上，日常对话占了大多数用例。
有了 Edge0-145B：迈向端侧优先，云端辅助。Vibe coding 等复杂任务现在可以在个人电脑上运行，让团队有更大空间选择本地执行。这扩大了可以留在设备上的工作范围，同时把云端保留给需要它的任务和硬件。
该图展示了 AI 从云端优先转向日常任务本地化、再到更复杂工作本地化的过程。图中色块仅为示意，不代表实测使用占比。
云端 AI 仍然适用的场景
硬件限制仍然决定哪个模型能跑得起来。算力、散热和续航都很关键：Edge0-35B 可在手机上运行，Edge0-145B 则要搭载在配置合适的笔记本电脑上。算力极低的设备目前无法在本地运行145B 模型，它需要适配自身硬件的更小模型，或者通过云端访问这一规模的模型。
跨设备的长期记忆，以及需要高度实时信息的搜索，仍然依赖云服务。本地模型和云端模型可以协同工作；如何分工取决于任务、硬件以及所需的信息。
我们的目标是让本地执行成为繁重工作的实用选择，用一个能力足够的模型在用户身边持续工作。这是朝着“让智能零距离触达每个人”这一目标迈出的下一步。
开始使用 Edge0
下载模型在本地运行、评估或微调，并集成到你自己的产品中：
- 模型权重：Hugging Face 上的 Edge0-145B 和 Edge0-120B。
- 推理框架与部署指南：GitHub 上的 Edge0。
- 免环境配置试用：下载 Edge0 App。其核心模型能力可离线使用，无需账号，也没有使用配额。
- 社区：加入我们的 Discord。
如需硬件或产品集成，可通过 GitHub 或 contact@autoark.ai 联系 Edge0 团队。
来源：Hacker News：AI 热帖 · edge0.ai