HuggingFace Daily Papers·2026-10-02 08:00· 6 天前AI 评分36

语言模型需要可训练输入嵌入表吗？1.7B 级规模下用固定最小 token 编码

Do Language Models Need a Trainable Input Embedding Table? Fixed Minimal Token Codes at 1.7B-Class Scale

AI 导读

研究用相同 tokenizer、骨干网络和训练配方从零训练三个 1.7B 级 decoder-only 模型，对比可学习嵌入表、标准 16-bit token-ID 编码和 GF(2) 上固定可逆重编码三种输入接口。