Unsloth 发布 Inkling 2 Mini 本地运行指南,26.4B MoE 模型可在 16GB 内存运行
Unsloth 提供了 Thinking Machines 新发布的 Inkling 2 Mini 的本地运行支持,这是一款 Apache 2.0 的 26.4B(激活 5.4B)MoE 模型,采用 Looped Transformer 架构和 1M 上下文。该模型 DeepSWE v1.1 得分 48.2%、SWE-Bench Pro v2 (Hard) 得分 77.9%,为其尺寸中最高;GGUF 已上传至 Hugging Face,1-bit 量化仅需 9GB 内存,4-bit 需 17-18GB,可通过 Unsloth 和 llama.cpp 运行。
Run Inkling 2 Mini, the strongest 26.4B model that runs on 16GB RAM.
Thinking Machines’ Apache 2.0 MoE model uses a looped transformer arch & scores 48.2% on DeepSWE v1.1, the best for size.
Run on Unsloth, llama.cpp
GGUF: huggingface.co/unsloth/Inklin…
Guide: unsloth.ai/docs/models/inklin…
在 X 查看被引用的帖子Some of you thought that Inkling 2 Small was too big at 594B parameters. We heard you: Inkling 2 Mini is a looped transformer with just 26B parameters, small enough to run on your laptop, powerful enough for agentic work with a score of 20.1 on AA Index.
thinkingmachines.ai/news/inkl…
来源:Unsloth AI · x.com