SMAT：简单高效的合并感知训练方法

研究者提出 SMAT（Simple MAT），通过将常见模型合并操作归纳为 Scale、Mask、Perturb 三种，联合优化专家损失与模拟合并参数下的期望损失，并引入周期性调度、算子融合和参数存储切换，使每步仅需一次前向和一次反向传播。在四个语言与视觉语言骨干模型上，SMAT 将五种合并方法的平均分较各骨干最强基线提升 1.07-2.16 分，训练时间开销较标准微调不足 2%。