HuggingFace Daily Papers（社区热门论文）·2026-09-27 08:00· 3 天前AI 评分41

预训练 LLM 中的 Softmax 近似：模型敏感性与内核加速

Approximating Softmax in Pretrained LLMs: Model Sensitivity and Kernel Acceleration

AI 导读

研究在十个冻结的 decoder-only 模型（0.5B-72B）上近似推理期 softmax，发现可大幅削减分配概率的位置数与行内分辨率，但对相同位置做均匀加权会带来损害，且固定分辨率预算的分配位置与预算大小同样重要。