跳到正文
HuggingFace Daily Papers·· 2 天前AI 评分35

用激活对齐弥补表格上下文学习中的上下文差距

Closing the Context Gap: Activation Alignment for Tabular In-Context Learning

AI 导读

研究者提出激活对齐方法,通过在合成无标签数据上训练轻量线性变换,把仅用部分上下文的"学生"模型中间激活映射到使用全部数据的"教师"模型激活,从而在不增加推理成本的前提下恢复性能。

来源:HuggingFace Daily Papers · arxiv.org