OnPolicy Distill

2026年10月6日约 19 分钟taking-lying-flat

🐶 DOPD: Dual On-policy Distillation

知识蒸馏是一种将高性能教师策略的能力迁移至性能相对有限的学生策略中的有效范式

传统蒸馏方法通常依赖离策略轨迹，这可能使学生策略接触到与其自身不断演化的行为分布不一致的状态，从而产生状态分布失配问题
同策略蒸馏（On-Policy Distillation，OPD）从当前学生策略出发生成轨迹，并由教师策略提供 token 级监督信号。这种方式不仅能够缓解分布偏移，还可在学生策略自身采样得到的同策略轨迹上提供稠密的逐 token 监督，因而通常具有更高的蒸馏效率和更优的性能

尽管 OPD 已成为一种有效的后训练范式，其可达到的性能上限仍从根本上受到监督来源质量的制约

在标准的强到弱蒸馏中，学生策略通过模仿能力更强的教师策略实现提升；在自蒸馏中，即以模型自身作为教师，模型则通过在不同上下文或不同条件下进行自我正则化来改善性能
在这两种情形下，OPD 的有效性都隐含依赖于一个基本假设：监督信号应当体现一种当前学生策略尚不具备、但能够通过学习获得的能力。然而，这一假设可能并不稳固，尤其是在引入特权信息的情况下

特权信息，例如面向大语言模型的经验证推理提示，或面向视觉语言模型的结构化视觉标注，确实能够改善教师策略的预测分布，并提高蒸馏过程表面上的性能上限

由特权信息训练带来的理论收益，并不一定能够转化为可迁移的监督信号。相反，这些收益可能源于一种此前尚未得到充分刻画的失效模式，即特权错觉（privilege illusion）
教师与学生之间表面上的性能差距，实际上混合两个本质不同的组成部分。其一是教师与学生之间固有的能力差距，这部分差距有望通过蒸馏逐步缩小；其二是由信息不对称所导致的差距，即教师能够访问学生几乎无法学习获得的特权输入。因而，若不加区分地蒸馏此类教师分布，学生可能只是拟合由特权信息产生的预测结果，而未能真正获得可迁移的能力
引入特权输入在理论上能够提高蒸馏的性能上限，但相应收益可能来自特权错觉，而非模型能力的实际优化，进而导致策略熵迅速坍缩、探索能力下降，并最终削弱蒸馏效果

由于蒸馏信号在不同 token 之间具有高度非均匀性，特权错觉问题会进一步凸显

在真实生成轨迹中，通常只有少量 token 承载决定性分支、有事实依据的证据、关键偏好以及其他以能力为核心的信息，而大量其余 token 可能仅提供价值较低、且依赖于特权信息的监督信号
基础 OPD 方法及其大多数变体通常使用相同的监督来源和目标形式对所有 token 进行优化，这实际上隐含假设每个 token 对能力迁移具有同等贡献。当引入特权输入后，教师相对于学生的部分性能优势来源于信息差距，而非可迁移的能力
在这种情况下，稠密监督可能使学生偏向于学习与特权信息相关的捷径，因为这些捷径通常比底层的可迁移能力更容易拟合，从而进一步放大教师与学生差距中的信息不对称成分
若从单一、整体化的策略中，对所有 token 进行无差别且均匀的蒸馏，可能会进一步加剧特权错觉

DOPD 是一种优势感知的双重蒸馏范式。该方法依据特权教师策略与特权学生策略之间的优势差距及其相对预测概率，在二者之间动态分配 token 级监督信号。对于每个 token ，DOPD 从教师或学生自身选择不同强度、不同目标形式和不同策略的监督，在迁移可信能力的同时引入辅助监督信号，从而缓解特权错觉

对于特权教师能够体现出可信能力优势的 token ，采用更强的教师蒸馏，以迁移特权条件下所体现的高价值能力。对于可能主要受特权信息支配、或与模型能力关联较弱的 token ，则采用较弱的监督，以维持训练稳定性并促进有益探索
通过这种方式，双重蒸馏能够联合调整监督来源、监督强度和监督粒度，从而在减轻特权错觉的同时，实现更加高效、稳定且自适应的知识蒸馏

🐻 Related Works

教师—学生蒸馏长期以来一直被用于将较强教师模型的能力迁移至较弱学生模型

进入大模型时代后，教师—学生之间的可蒸馏性已不再是简单的教师模仿问题。近期研究表明，教师模型不仅能够向小规模学生模型传递标签，还可以传递推理过程、生成轨迹、偏好信息以及更广泛的行为模式
蒸馏效果并不会随着教师能力的增强而单调提升。有关能力差距的研究指出，当教师模型的能力远高于学生模型时，其提供的监督信号可能超出学生模型的学习和吸收能力
一些研究也在 OPD 场景中观察到类似现象，并进一步表明，为获得更好的教师—学生蒸馏效果，教师与学生之间可能需要具备更为匹配的初始分布。有效蒸馏不仅依赖于教师模型具有更强的能力，还取决于所迁移能力的具体内容及其表达形式

同策略蒸馏已成为一种具有代表性的后训练范式。该范式将同策略学习的分布一致性与稠密监督相结合

标准蒸馏，即强到弱蒸馏范式。在该范式下，高能力教师模型针对学生模型生成的轨迹提供监督，从而将知识迁移至能力较弱的学生模型。近期研究主要通过对基础框架进行结构性改进，以提高训练稳定性、加快蒸馏过程或增强蒸馏效果
自蒸馏。该类方法在不同上下文条件下，将同一模型同时作为教师和学生
自适应蒸馏。该类方法根据学生模型的当前状态或其他训练信号，动态调整监督策略
在基础 OPD 中，学生模型所能达到的性能受到教师策略性能所决定的理论上限约束。在高难度任务中，这一问题尤为突出，因为教师策略本身的性能也可能较为有限。为突破这一上限，已有部分研究开始尝试引入特权信息

这些方法通常隐含地假设，直接引入特权信息即可增强监督信号中的可迁移能力，并且来自单一监督源的信号可以通过统一的蒸馏机制作用于所有 token 。这些方法普遍忽视特权错觉所带来的风险，因此可能难以明确识别并有效蒸馏模型真正具备的内在能力

🐰 Background

现有 OPD 方法在根本上依赖于这样一个假设：能力更强的教师能够提供更丰富、更具信息量的监督信号。因此，在许多实际场景中，一种直观的做法是为教师模型或学生模型自身提供特权输入

在以推理为核心的任务中引入经验证的提示信息，或在视觉感知场景中提供目标的边界框标注
本文采用一种适度的特权信息形式：该信息能够提供解决任务所需的关键线索，但不会直接给出具体的执行过程或最终答案

在引入特权信息后，模型表现出的预测优势可能源于信息不对称，而非其内在能力的真实提升。若未经筛选地蒸馏此类监督信号，学生模型可能倾向于模仿特权信息所诱导的输出结果，而不是学习具有实际价值和可迁移性的能力

单独向教师或学生引入特权信息虽可在训练初期带来一定性能增益，但由此产生的信息不对称会导致后期性能下降和策略熵坍缩
即使教师与学生同时获得特权信息，统一的 token 级蒸馏仍难以促使学生真正掌握核心能力，最终收益甚至低于基础 OPD
特权信息带来的优势往往源于信息不对称，而非模型内在能力的真实提升，即所谓的特权错觉

现有 OPD 方法的一个关键局限在于，难以区分教师与学生之间的能力差距和信息差距。当教师策略与学生策略同时获得特权输入时，二者之间的相对优势可以作为衡量特权条件下预测差异的代理指标

较大的优势差距表明，在控制特权信息一致的条件下，教师与学生之间仍存在明显的能力差异；而较小的优势差距则意味着，教师策略的优势可能主要来源于特权信息本身。基于这一观察，提出一种特权优势感知的蒸馏范式，仅当监督信号反映出真实能力，而非特权错觉时，才有选择地进行知识迁移
对于给定的原始输入 $x$ ，学生策略从相应的条件分布中采样输出序列。为实现特权优势感知蒸馏，考察教师策略 $\Pi_T$ 与学生策略 $\Pi_S$ 在同时获得特权输入时的分布差异，并将其定义为特权优势差距 $A$ 。分别对两个策略执行前向传播，并将其对数概率之差的绝对值作为最终的特权优势差距

$\mathcal{A} = \left| \log \Pi_T (\mathbf{y}_n \mid \mathbf{x}, \mathbf{p}, \mathbf{y}_{<n}) - \log \Pi_S (\mathbf{y}_n \mid \mathbf{x}, \mathbf{p}, \mathbf{y}_{<n}) \right| = \left| \log \frac{\Pi_T (\mathbf{y}_n \mid \mathbf{x}, \mathbf{p}, \mathbf{y}_{<n})}{\Pi_S (\mathbf{y}_n \mid \mathbf{x}, \mathbf{p}, \mathbf{y}_{<n})} \right|,$ (1)

其中 $y_n$ 表示当前由两个策略共同评估的 token ， $p$ 表示与历史 token 一同作为辅助上下文输入的特权信息。该指标刻画教师策略与学生策略在相同特权条件下，由二者性能差异所引起的预测分歧，因此可被视为理想化的蒸馏学习内容

作者基于 Vanilla OPD 构造三种变体，并分别丢弃部分 token ，不对这些 token 计算蒸馏损失：随机丢弃 20% token 的参考基线；丢弃优势差距最小的 20% token ；丢弃优势差距最大的 20% token

移除高优势 token 会造成显著的性能下降，并明显降低蒸馏效率。在第 100 个优化步骤时，移除高优势 token 的变体仅获得 Vanilla OPD 约 50% 的性能增益。相比之下，随机移除 token 或移除低优势 token ，对性能的影响相较 Vanilla OPD 基线均较为有限
这一差异在多模态模型中更加明显：移除高优势 token 后，模型仅能获得 Vanilla OPD 约 20% 的性能提升。值得注意的是，尽管该变体的表现明显低于其他方法，但移除高优势 token 后，模型仍分别取得 3.4 个点和 1.5 个点的蒸馏增益。这表明，其余 token 虽然不如高优势 token 关键，但仍然对蒸馏过程具有不可忽视的作用

🦊 On-policy Distillation

在 OPD 框架下利用教师策略训练学生策略时，首先考虑三类常见的、基于散度构造的优化目标，即前向 Kullback–Leibler（KL）散度、反向 KL 散度以及 Jensen–Shannon（JS）散度。不再区分包含特权信息与不包含特权信息的观测，并统一以 $t$ 表示教师策略和学生策略当前所处的上下文

前向 KL 散度通过惩罚以下情况，促使学生策略覆盖教师分布的完整支撑集：某些动作在教师策略下具有不可忽略的概率，但学生策略却对其概率作出低估。因此，该目标倾向于推动学生策略较为全面地模仿教师策略的动作偏好

$\underbrace{KL_{\text{forward}} (\Pi_T \parallel \Pi_S) = \mathbb{E}_{\mathbf{y} \sim \Pi_T(\cdot \mid \mathbf{t})} \left[ \log \frac{\Pi_T (\mathbf{y} \mid \mathbf{t})}{\Pi_S (\mathbf{y} \mid \mathbf{t})} \right]}_{\text{mean-seeking}}$ (2)

反向 KL 散度促使学生策略将概率质量集中于教师策略高度偏好的动作，同时较少关注教师分布中的低概率区域。这种寻峰式优化倾向通常会使学生策略的分布更加尖锐，但也可能忽略教师策略所包含的、具有信息价值的次要模态

$\underbrace{KL_{\text{reverse}} (\Pi_S \parallel \Pi_T) = \mathbb{E}_{\mathbf{y} \sim \Pi_S(\cdot \mid \mathbf{t})} \left[ \log \frac{\Pi_S (\mathbf{y} \mid \mathbf{t})}{\Pi_T (\mathbf{y} \mid \mathbf{t})} \right]}_{\text{mode-seeking}}$ (3)

JS 散度首先引入教师分布与学生分布的平均分布，并分别计算教师策略和学生策略相对于该中间分布的 KL 散度。与前向 KL 或反向 KL 不同，JS 散度不具有明显的方向偏置。两部分散度的结合能够提供更加均衡的优化信号，从而提高策略蒸馏过程的稳定性

$JS = \frac{1}{2} KL (\Pi_T \parallel \Pi_M) + \frac{1}{2} KL (\Pi_S \parallel \Pi_M) , \text{where} \quad \Pi_M = \frac{1}{2} \Pi_T + \frac{1}{2} \Pi_S.$ (4)

作为一种颇具潜力的后训练范式，OPD 的核心优势在于：利用目标学生策略自身采样得到的数据进行知识迁移，从而有效缓解分布偏移所引起的性能偏差，并提供比传统强化学习范式更为丰富的监督信号

对于给定输入 $x$ ，学生策略 $\Pi_S$ 首先从其条件分布中采样预测轨迹 $y\sim \Pi_S(\cdot\mid x).$ 随后，通常由能力更强的模型充当教师策略，并提供 token 级监督信号以优化学生策略。因此，基础 OPD 的优化目标可概括为

$\mathbb{E}_{x\sim\mathcal{D}} \left[ \mathbb{E}_{y\sim\Pi_S} \left[ \frac{1}{|y|} \sum_{n=1}^{|y|} \mathcal{L}_n(y_n;t_{<n}) \right] \right]$ (5)

其中 $t_{<n}$ 表示生成第 $n$ 个 token 时所依赖的条件上下文，包括原始输入、此前生成的 token ，以及可能存在的辅助信息； $\mathcal{L}_n$ 用于度量教师策略与学生策略在当前 token 上的分布差异。通常，该惩罚项采用基于散度的优化目标，例如广泛使用的反向 KL 散度，也可以采用其他散度形式或多种散度的组合

不同 OPD 方法采用的教师监督粒度也有所不同。按照监督范围由粗到细，可分为采样 token 蒸馏、Top-K token 蒸馏和全词表蒸馏

采样 token 蒸馏仅针对当前实际生成的目标 token 计算蒸馏损失；Top-K token 蒸馏则将监督范围扩展至预测概率最高的 K 个 token ；相比之下，全词表蒸馏直接对整个词表上的完整概率分布进行对齐
随着监督粒度逐渐细化，所包含的有效监督信号在理论上也随之增多，因而可能带来更高的蒸馏效率。然而，这种收益通常伴随着更高的计算开销，并可能增加训练不稳定的风险。其原因在于，低概率 token 的预测分布往往包含较多噪声，若对其进行过度拟合，可能反而干扰学生模型的优化过程

🦁 Advantage-aware Dual Distillation

并非所有 token 都应接受来自同一监督源、采用相同优化目标且强度一致的监督。当引入特权信息后，教师策略所表现出的优势既可能源于特权条件下真实的能力差异，也可能仅由信息不对称造成

若不加区分地蒸馏特权教师分布，可能会将依赖特权信息的捷径式线索迁移给学生
而若过度依赖较为保守的自蒸馏，又可能无法充分吸收真正有益的知识
优势感知的双重蒸馏方法，根据 token 级特权优势差距，动态选择监督来源与蒸馏形式

具体而言，对于每条由同策略采样得到的轨迹 $y$ ，额外执行两次包含特权信息的前向传播：一次使用特权学生策略，另一次使用特权教师策略。对于第 $n$ 个 token ，二者对应的 token 概率分别记为

$q_S=\Pi_S(y_n\mid x,p,y_{<n}), \quad q_T=\Pi_T(y_n\mid x,p,y_{<n})$ (6)

相应的 token 级对数概率分别记为

$\ell_S=\log \Pi_S(y_n\mid x,p,y_{<n}), \quad \ell_T=\log \Pi_T(y_n\mid x,p,y_{<n}).$ (7)

特权学生策略与实际部署的学生策略共享模型参数，但在训练过程中额外接收特权输入 $p$ ；特权教师策略的参数则保持冻结。利用这两个特权策略计算特权优势差距 $A$ 。对于第 $n$ 个已评分 token ，将其 $A_n$ 、 $q_S$ 和 $q_T$ 与对应的平均值 $\bar A$ 、 $\bar q_S$ 和 $\bar q_T$ 进行比较
在实际计算中，为保证训练稳定性，首先剔除数值最高的 5% 异常样本，随后在批次内进行归一化，并基于处理后的结果计算相应均值。根据上述指标之间的相对关系，可将 token 划分为四种不同情形，每种情形分别对应一种特定的学习策略

1️⃣ 低优势差距、高预测概率：当两个特权策略之间的优势差距较小，且二者对当前 token 均赋予较高预测概率

$I_{\mathrm{LH}} = \left(A_n<\bar A\right) \land \left(q_S+q_T\geq \bar q_S+\bar q_T\right)$ (8)

特权教师策略与特权学生策略对当前 token 给出较为一致且置信度较高的预测。在这种情况下，模型性能的主要瓶颈更可能源于缺少特权信息，而非教师与学生之间存在显著的内在能力差距。因此，没有必要要求学生完整模仿教师分布，否则可能导致依赖特权信息的捷径被过度迁移。
采用较弱的教师蒸馏目标，并使用 Top-K 反向 KL 散度，以较为保守的方式吸收有价值的特权知识

$\mathcal{L}_{\mathrm{LH}} = \beta_l\, \mathrm{KL}_{\mathrm{reverse}} \left( \Pi_S(\cdot\mid x,y_{<n}) \parallel \Pi_T(\cdot\mid x,p,y_{<n}) \right)$ (9)

其中 $\beta_l$ 表示轻量蒸馏的强度系数

2️⃣ 低优势差距、低预测概率：当两个特权策略之间的优势差距较小，且二者对当前 token 均赋予较低预测概率

$I_{\mathrm{LL}} = \left(A_n<\bar A\right) \land \left(q_S+q_T<\bar q_S+\bar q_T\right)$ (10)

特权教师策略与特权学生策略均认为当前 token 的可能性较低。此类 token 很可能超出两个模型共同的可靠能力范围。在这种情况下，过强的教师约束可能引入噪声，甚至产生误导性的监督信号
将特权学生策略作为一种较弱的自正则化参照，并采用系数更小的 Top-K 反向 KL 散度，以在不强迫学生模仿教师不确定预测的前提下稳定训练

$\mathcal{L}_{\mathrm{LL}} = \beta_w\, \mathrm{KL}_{\mathrm{reverse}} \left( \Pi_S(\cdot\mid x,y_{<n}) \parallel \operatorname{sg} \left[ \Pi_S(\cdot\mid x,p,y_{<n}) \right] \right)$ (11)

$\operatorname{sg}[\cdot]$ 表示停止梯度操作，用于避免目标分布与当前策略同时更新而造成目标漂移； $\beta_w$ 表示弱蒸馏的强度系数，并满足 $\beta_w<\beta_l.$ 特权学生策略并不被视为新的知识来源，而是作为一个与学生策略共享参数的一致性参照，用于抑制策略漂移

3️⃣ 高优势差距、教师高预测概率：当两个特权策略之间的优势差距较大，且教师策略对当前 token 赋予更高的预测概率时

$I_{\mathrm{HT}} = \left(A_n\geq \bar A\right) \land \left(q_T\geq q_S\right)$ (12)

特权教师策略相较于特权学生策略表现出明确且可信的优势。由于二者接收相同的特权信息，较大的特权优势差距表明，教师策略所提供的监督中可能包含学生当前尚未掌握的有效能力信号。因此，此类 token 承载关键的可迁移知识，应接受更强的监督
采用权重为 1 的全词表教师蒸馏，并使用 JS 散度在分布覆盖与模态集中之间取得平衡

$\mathcal{L}_{\mathrm{HT}} = \mathrm{JS} \left( \Pi_S(\cdot\mid x,y_{<n}), \Pi_T(\cdot\mid x,p,y_{<n}) \right).$ (13)

与 Top-K 蒸馏相比，全词表对齐能够提供更加稠密的分布监督信号，使学生不仅能够学习教师的主要决策，还能够吸收教师分布中具有信息价值的次要偏好

4️⃣ 高优势差距、学生高预测概率：当两个特权策略之间的优势差距较大，且学生策略对当前 token 赋予更高的预测概率时

$I_{\mathrm{HS}} = \left(A_n\geq \bar A\right) \land \left(q_T<q_S\right)$ (14)

特权学生策略表现出相对更高的置信度，而特权教师策略未能提供同等可靠的监督信号。在这种情况下，若强制学生向教师分布靠拢，可能会抑制潜在有效的探索行为。
采用轻量的特权学生蒸馏目标，并使用 Top-K 反向 KL 散度，以较弱的约束促使部署学生策略与其特权版本保持一致，同时避免过度正则化

$\mathcal{L}_{\mathrm{HS}} = \beta_l\, \mathrm{KL}_{\mathrm{reverse}} \left( \Pi_S(\cdot\mid x,y_{<n}) \parallel \operatorname{sg} \left[ \Pi_S(\cdot\mid x,p,y_{<n}) \right] \right).$ (15)

总体优化目标：通过指示掩码将上述四种 token 级目标组合起来

$\mathcal{L}_{\mathrm{DOPD}} = I_{\mathrm{LH}}\mathcal{L}_{\mathrm{LH}} + I_{\mathrm{LL}}\mathcal{L}_{\mathrm{LL}} + I_{\mathrm{HT}}\mathcal{L}_{\mathrm{HT}} + I_{\mathrm{HS}}\mathcal{L}_{\mathrm{HS}}.$ (16)

$\mathbb{E}_{x\sim\mathcal{D}} \left[ \mathbb{E}_{y\sim\Pi_S(\cdot\mid x)} \left[ \frac{1}{|y|} \sum_{n=1}^{|y|} \mathcal{L}_{\mathrm{DOPD}}^{\,n} \left( y_n;x,p,y_{<n} \right) \right] \right].$ (17)