公众号：蚂蚁百灵（Ling）· 百灵大模型·· 2026-05-29精选AI 评分81
蚂蚁百灵团队为何重新设计 SwiGLU？PowLU 激活函数的诞生始末
我们为什么要重新设计 SwiGLU？聊一聊 PowLU 的诞生始末
AI 导读
蚂蚁百灵团队提出新激活函数 PowLU，以解决 SwiGLU 在 FP8 等低精度训练中因二次增长放大异常值导致的 Loss Spike 和训练崩溃问题。
推荐理由
用幂函数替代指数项以压制输出范围，避免了 SwiGLU 截断带来的信息丢失，为低精度训练提供了一条已通过千亿模型验证的稳定激活函数路径。
来源：公众号：蚂蚁百灵（Ling） · mp.weixin.qq.com