Apple Machine Learning Research·· 2026-08-06AI 评分29
锁定预训练权重：深度低秩残差蒸馏方法解析
Locking Pretrained Weights via Deep Low-Rank Residual Distillation
AI 导读
Apple 提出深度低秩残差蒸馏方法，在锁定预训练权重的同时实现模型压缩。该方法通过低秩残差结构蒸馏知识，避免直接修改原始权重，从而保留预训练模型的既有能力。研究展示了该方法在保持模型质量的同时，为开源权重模型的高效适配提供了新路径。
来源：Apple Machine Learning Research · machinelearning.apple.com