Janas-LLM发布：SSD流式加载跑80B模型
热点事件持续更新
Janas-LLM发布：SSD流式加载跑80B模型
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Maurizio Cammalleri 发布 Janas-LLM，用 C 编写、无额外依赖，让大混合专家（MoE）模型在普通电脑上运行：权重留在磁盘，每个 token 所需的专家从 NVMe SSD 流式读取，反复用到的专家留在内存缓存。据其评测，该工具能在 32 GB 内存笔记本上运行 48 GB 的 Qwen3-Next-80B 模型，有无 GPU 均可。 作者称这是实验而非产品，处于早期开发阶段，公开 API 和命令行会随时变动、每周已改多次；除上述场景外未经测试，可能更慢、拒绝加载模型或行为异常。
AI 根据报道生成 · 1 小时前更新
最新进展10月13日 06:05
Janas-LLM 开源：从 SSD 流式读取专家权重，在 32 GB 内存笔记本上跑 80B 模型报道时间线
沿着报道，了解事件的不同侧面。
10月13日
- Hacker News：AI 热帖Janas-LLM 开源：从 SSD 流式读取专家权重，在 32 GB 内存笔记本上跑 80B 模型
Janas-LLM 发布，用 C 编写、无额外依赖，权重留在磁盘上、按 token 所需从 NVMe SSD 流式读取 MoE 专家，常驻专家存入内存缓存。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。