VocabX 预览：按 token 成本特化词表，推理成本降 77%

Dharma-AI 在 Hugging Face 社区博客预览了尚未正式发表的 VocabX 论文的部分结果：基于 Qwen3-4B 的葡萄牙语作文自动评分器用该方法重建词表后，在基座模型、数据和训练配方不变的情况下，实测推理成本降低 77%。 该方法按每个 token 的成本而非词频来特化词表，使输出层从约 152,000 行缩减到约 65,000 行。原文称生成 token 的成本约为读取 token 的 7.4 倍，词表是领域专精模型最大的成本杠杆之一。上述 77% 为作者在单一葡萄牙语评分任务上的实测结果，论文尚未发布。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。