HuggingFace Daily Papers（社区热门论文）·2026-09-28 08:00· 2 天前AI 评分44

谁获得一个 Token，它又承载了什么？大语言模型中的姓名支持不均与概念可及性差异

Who Gets a Token, and What Does It Carry? Unequal Name Support and Concept Access in Large Language Models

AI 导读

研究揭示大语言模型对姓名的 token 化存在系统性不均：在近 50 万个名字和 12 个 LLM 分词器上，部分姓名可直接单 token 访问，另一些则被拆成多个子词，且这种差异与种族、性别相关的姓名元数据分布不均。