Unsloth AI · @UnslothAI · X·2026-08-14 23:08·29天前
AI 导读

Unsloth 发布 Qwen3.8-27B 的 Dynamic GGUF 量化版本,4-bit 量化可在 17-19GB 内存设备上本地运行,并同时上传 NVFP4 量化。

Unsloth AI@UnslothAI
精选
76AI 编辑部评分,满分 100
2026-08-14 23:08· 29天前
AI 导读

Unsloth 发布 Qwen3.8-27B 的 Dynamic GGUF 量化版本,4-bit 量化可在 17-19GB 内存设备上本地运行,并同时上传 NVFP4 量化。

推荐理由

原文给出了本地运行的具体内存门槛、量化版本和硬件对照表,读者可以据此判断能否在自己的设备上跑通这个 27B 模型。

正文 · AI 翻译

Qwen3.8-27B 现在可以在本地运行了!✨

通过 Unsloth Dynamic GGUF,可在 17GB RAM 上运行。

Qwen3.8-27B 是迄今为止同规模中最强的模型。我们还上传了 NVFP4 量化版本。

GGUF:https://huggingface.co/unsloth/Qwen3.8-27B-GGUF 指南:https://unsloth.ai/docs/models/qwen3.8

Qwen我们承诺过会开放 Qwen3.8 的权重。现在,是时候与它们见面了!🎉 ⚡ Qwen3.8-27B: - 一款原生多模态稠密模型。仅凭 27B 参数,其整体表现便超越了 Qwen3.7-Plus,并在真实世界的编程与办公工作流中表现出色。 - 262K 原生上下文,通过 YaRN 可轻松扩展至 1M tokens。 ...