AI语言公平联盟研究：分词器税致语言成本差17倍

人工智能语言公平研究联盟上月发布研究称，AI 模型处理不同语言时消耗的 Token 数量差距悬殊：最常用的 20 种语言之间相差 1.5 至 5 倍，在某一模型中最多相差 17 倍。 该联盟将这种隐性成本称为“分词器税”：低资源语言用户为同样的内容支付更多 Token，成本更高，响应也更慢，并挤占上下文窗口。研究指出，文字系统而非使用人数是造成差异的关键因素之一。 联盟专家呼吁 AI 实验室公布各语言的评估结果，并在下一代分词器设计中改进。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。