导读
更强大的教师可以提供额外的指导，但这提出了一个核心问题：如何将这些信号纳入 RLVR 以支持成功的推广，同时保持学生的可学习性？我们区分了两种互补机制：轨迹级干预（改善获得奖励轨迹的机会）和代币级监督（提供密集目标来指导学生学习）。
【编辑部】这对你意味着什么
该论文提出的 PIVOT 方法在硬逻辑游戏和数学推理基准测试中，逻辑游戏的平均 avg@8 从性能最佳基线的 19.5% 增加到 35.6%。这是一项学术研究成果，目前尚未涉及签证、就业、收入、教育政策、安全或家庭生活等现实层面的直接影响。
英文标题：PIVOT: Progressive Intervention via Online Teacher Correction
arXiv编号：2610.40576
作者：Zhihao Yang, Boyuan Zheng, Puhui Tan
来源：arXiv
原文链接：https://arxiv.org/abs/2610.40576
中文摘要：
可验证奖励（RLVR）的强化学习受到硬推理任务的稀疏结果级反馈的限制：当一组中的所有部署都失败时，奖励不会提供学习信号。更强大的教师可以提供额外的指导，但这提出了一个核心问题：如何将这些信号纳入 RLVR 以支持成功的推广，同时保持学生的可学习性？我们区分了两种互补机制：轨迹级干预（改善获得奖励轨迹的机会）和代币级监督（提供密集目标来指导学生学习）。我们的对照实验表明，单独使用任何一种机制仍然不够，因此需要将它们结合起来。因此，我们引入了 PIVOT，它将教师生成的修正插入到学生的展示中，并将代币级 KL 监督与 RLVR 目标一起应用于这些部分。除了它们的组合之外，我们还系统地分析了在哪里进行干预以及如何进行监督，从而得出有效指导的秘诀。在硬逻辑游戏和数学推理基准测试中，PIVOT 始终优于现有方法，逻辑游戏的平均 avg@8 几乎翻倍，从性能最佳基线的 19.5% 增加到 35.6%。
本文由华人空间 AI 论文助手自动抓取翻译，仅供学术交流。
【编辑部】今日讨论
你在学习或工作中使用过类似的 AI 推理辅助工具吗？效果如何？
