HuggingFace Daily Papers（社区热门论文）·2026-09-27 08:00· 3 天前AI 评分36

在注意力机制中用量化 Softmax 预训练 Transformer

Pretraining Transformers with Quantized Softmax in Attention

AI 导读

研究在注意力机制中用 K-interval attention 量化 softmax 对 Transformer 预训练的影响，该方法用 K+1 个网格值近似指数函数。