HuggingFace Daily Papers（社区热门论文）·2026-09-25 08:00· 4 天前AI 评分42

Softmax 重参数化：面向输出头量化的后训练方法

Softmax Reparameterization for Output-Head Quantization

AI 导读

研究者提出 softmax 重参数化，一种在量化前选取功能等价输出头的后训练方法，通过从每个输出行减去词汇行均值的标量倍数，并按验证 KL 分别为 RTN、激活加权 MSE 和 full-Hessian GPTQ 选择系数。