小模型工具调用基准假阳性诊断阶梯

2026年10月1日，HuggingFace Daily Papers 收录的一项研究记录了关键词匹配基准对小模型工具调用能力的误判。研究以一对共享解码器与 tokenizer 的西班牙语安全模型为对象，参数规模分别为 661.6M 与 1,109M。在宽松工具调用指标上，两者得分几乎相同（B4：0.660 对 0.650）；但在逐字复现检查中，600M 模型在 6/6 样例上生成有效工具调用，1B 模型在 0/6 样例上做到。研究者据此提出一套严格、低成本的诊断阶梯，用于检验小语言模型的工具使用声明。该研究强调关键词匹配基准可能产生假阳性，需以更严格的逐字复现等方式补充验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。