Perplexity改进AI自蒸馏：不光训练学生，也要训练老师

动察 Beating AI 快讯，在大模型自蒸馏训练中，同一个模型会扮演两种角色：学生独立解题，老师则能提前看到参考答案，沿着学生写出的内容逐 Token 提供指导。 两种角色共享参数，不需要额外运行一个更大的教师模型，还能获得比最终判分更细致的训练信号。但老师掌握的额外信息，也可能让它采用学生无法独立完成的推理路径，反而影响学习。 今年 6 月，UCLA 等团队提出 SDPG，保留最终结果奖励，只让表现高于同组平均水平的解题过程接受蒸馏指导，训练后期再逐步降低蒸馏权重，避免过度模仿妨碍模型自行探索。如果一组尝试全部失败，蒸馏信号就会关闭；全部答对时也是如此。 Perplexity 与 NVIDIA 新提出的 JOLT，把老师也纳入训练。老师利用额外信息独立解题，根据最终结果获得奖励；同时用 KL 散度约束老师与学生的输出差异，避免指导偏离学生当前的能力太远。学生仍沿着自己的解题过程，逐 Token 接受教师反馈。两种角色共享参数，解题能力和教学方式会在训练中一起调整。 在 Qwen3-0.6B 的 MATH 测试中，JOLT 准确率达到 72.14%，高于此前自蒸馏方法 OPSD 的 61.20%，也超过强化学习 GRPO 的 68.36%。这组 JOLT 实验没有给学生单独加入最终结果奖励，只有教师分支直接使用结果奖励。 达到相同的 63.44% 准确率时，GRPO 实测消耗约 840 万个训练 Token，JOLT 根据训练曲线估算只需 130 万，相差约 6.5 倍。 但换到 AppWorld 智能体任务，不使用学生结果奖励的 JOLT 只有 51.92%，低于 GRPO 的 62.20%。给学生也加入最终任务奖励后，JOLT+ 才提高到 72.09%。教师提供的逐步指导，仍不能完全取代学生实际完成任务的反馈。

📰 来源：https://www.okx.com/zh-hans/feed/post/90741047807168