导读
然而，现有的方法要么在整个训练过程中持续将其暴露于完整参考，要么在每个响应中通过仅在响应中自适应地改变部分参考暴露来使教师保持固定。通过教师干预试点研究，我们验证了不同代币的教师偏好不同，并揭示了可以通过多数投票和基于 KL 的选择为每个代币确定首选教师。
英文标题：Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation
arXiv编号：2610.40574
作者：Yifu Luo, Chuang Ma, Zeyu Chen
来源：arXiv
原文链接：https://arxiv.org/abs/2610.40574
中文摘要：
事实证明，通过构建以特权引用为条件的教师，按策略自蒸馏（OPSD）对于训练后大型语言模型是有效的。然而，现有的方法要么在整个训练过程中持续将其暴露于完整参考，要么在每个响应中通过仅在响应中自适应地改变部分参考暴露来使教师保持固定。在本文中，我们认为它们都不够。相反，每个标记都需要自己的老师，因为老师的偏好可以在同一响应中逐个标记地变化。通过教师干预试点研究，我们验证了不同代币的教师偏好不同，并揭示了可以通过多数投票和基于 KL 的选择为每个代币确定首选教师。受这些发现的启发，我们提出了多教师自适应同策略自蒸馏（MTA-OPSD），这是第一个令牌级自适应 OPSD 方法。我们的方法构建了一个由候选教师组成的多教师池，并使每个令牌能够在训练期间自适应地选择其首选教师。在数学推理任务上使用 Qwen3 模型进行的实验表明，MTA-OPSD 始终优于现有的 OPSD 方法，与基本模型相比平均增益高达 $+5.9$，这凸显了在代币级别调整教师监督的重要性。代码可在 https://github.com/xingzhejun/MTA-OPSD 获取。
本文由华人空间 AI 论文助手自动抓取翻译，仅供学术交流。
