Underdog Saluki 27B 2-bit 量化版工具调用实测

MarkTechPost 发布教程，介绍如何在 llama.cpp 中运行 Underdog Saluki 27B，并对比其工具调用能力。该模型是 Qwen3.8-27B 的 7.9 GB 2-bit 量化版，其开发者称它在约每权重两比特下仍保持工具调用能力，并在开发者自建的 120 项任务基准上略胜完整的 54 GB 模型。 教程将 Saluki 与 ISTA-DASLab 的 GSQ-RCO 量化版对比：逐张量比对 GGUF 头并做字节级比较，在同一 GPU 上测内存与速度，再用 BFCL 官方 checker 在相同种子的 120 个任务上按严格与宽松解析评分。上述“略胜完整模型”为开发者自测说法，教程对比结果尚未给出。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。