Policy Optimization II

2026年9月29日约 32 分钟taking-lying-flat

🍀 Secrets of RLHF in Large Language Models Part I: PPO

随着模型规模、数据规模和训练计算量的扩大，大语言模型涌现出小模型所不具备的显著特性，典型能力包括上下文学习、指令遵循和逐步推理。基于这些涌现能力，大语言模型甚至展现出在词语与感知之间建立联系、进而与现实世界交互的潜力，为通用人工智能的实现带来可能性，例如能够操纵工具的具身语言模型，以及交互式沙盒环境中的生成式智能体

尽管具备上述能力，但由于大语言模型的训练目标是捕捉预训练语料的数据特征，而这些语料同时包含高质量和低质量数据，模型可能表现出非预期行为，例如编造事实、生成带有偏见或毒性的文本，甚至生成对人类有害的内容。这就需要使大语言模型与人类价值观对齐，例如有用、诚实和无害
为缓解潜在的重大危害风险，当前大多数工作尝试在 SFT 中加入一些 3H 数据，希望引导模型的回答在道德和伦理层面发生积极转变。然而，即使加入一组安全性和事实依据性目标，以刻画模型在对话中应当表现出的行为，模型在安全性和事实依据性方面的表现仍低于人类水平
因此，需要更加有效且高效的控制方法，以消除使用大语言模型的潜在风险。OpenAI 和 Anthropic 已验证，RLHF 是使语言模型在广泛任务上与用户意图对齐的一条有效途径

训练与人类价值观对齐的大语言模型是一项艰巨任务，采用强化学习训练时往往会反复失败。一般而言，成功的 RLHF 训练需要准确的奖励模型来替代人类判断，需要仔细探索超参数以实现稳定的参数更新，还需要强有力的 PPO 算法来实现稳健的策略优化

在数据质量较低、对齐目标难以明确定义的情况下，训练得到的奖励模型很容易误导 PPO 算法，使其朝难以理解的方向优化
使用 PPO 微调语言模型需要协调四个模型共同工作，即策略模型、价值模型、奖励模型和参考模型，这使得训练及其向大参数规模模型的扩展变得困难
在新的语言环境中，PPO 面临奖励稀疏和词空间探索效率低下的问题，因此对超参数较为敏感

在本报告中，作者仔细剖析 RLHF 框架，并讨论决定算法训练能否成功的完整过程

探索奖励模型的质量如何影响策略模型的最终表现，发现奖励模型的质量直接决定策略模型的性能上限
使用由策略模型得到的动作空间建模指标来监测 PPO 训练过程，例如困惑度、回答长度，以及策略模型与 SFT 模型之间的 KL 散度。与回答奖励值和损失函数值相比，这些指标更能反映训练的稳定性

OpenRLHF · Experience 字段（节选） · GitHub

🐧 Reinforcement Learning from Human Feedback

AI 助手的训练过程主要包括三个阶段：监督微调（SFT）、奖励模型（RM）训练，以及基于该奖励模型的近端策略优化

在 SFT 阶段，模型通过模仿人工标注的对话示例，学习开展类似人类的通用对话
随后进行奖励模型训练，使模型能够根据人类反馈比较不同回答的偏好程度
在 PPO 阶段，根据奖励模型的反馈更新模型，力求通过探索与利用找到经过优化的策略。在 RLHF 过程中，作者主要关注奖励模型训练和通过 PPO 进行强化学习这两个阶段

在奖励模型的架构方面，作者采用基于 Transformer 的预训练语言模型，移除最后的反嵌入层，并在最后一个 Transformer 层后增加一个线性层。对于任意给定文本，奖励模型会为最后一个 token 分配一个标量奖励值，奖励值越大，表示样本越好。遵循 Stiennon 等人的方法，奖励模型通常使用成对比较数据集进行训练，其中每个样本对由针对同一输入生成的两个回答构成。对于每一对偏好样本与非偏好样本，其建模损失为

其中， $\sigma$ 为 sigmoid 函数， $r$ 表示参数为 $\psi$ 的奖励模型， $r(x,y)$ 是针对输入提示 $x$ 和回答 $y$ 预测的标量奖励。在每个样本对的偏好回答上引入自回归语言模型损失，使模型能够模仿每个句子对中的偏好回答。在实际实现中，为语言模型损失加入系数 $\beta_{\mathrm{rm}}$ 。最终，奖励建模损失定义如下

其中， $\mathcal{D}_{\mathrm{rm}}$ 为训练集的经验分布。除顶部线性层外， $r'$ 与 $r$ 的模型结构相同； $r'$ 顶部线性层的维度对应词表大小， $r'(x,y_w)$ 表示给定提示 $x$ 和偏好回答 $y_w$ 时的似然
作者在奖励函数中加入一个额外项，根据学习得到的强化学习策略 $\pi_{\phi}^{\mathrm{RL}}$ 与初始监督模型 $\pi^{\mathrm{SFT}}$ 之间的 Kullback–Leibler（KL）散度施加惩罚

其中， $\eta$ 为 KL 惩罚系数。该对数概率比在当前策略下的期望等于相对于参考策略的 KL 散度；惩罚项同时包含策略熵奖励和参考分布约束，有助于维持生成多样性并限制策略偏离参考模型

由于状态—动作空间庞大，将强化学习应用于对话生成面临重大挑战。在每个时间步，智能体从环境中接收状态 $s_t$ ，即对话历史，其中包含截至当前由助手和人类产生的全部对话文本。随后，智能体根据策略 $\pi$ 执行动作 $a_t$ ，即生成下一个 token。环境返回奖励 $r(s_t,a_t)$ ，该奖励由基于人类偏好数据训练得到的奖励函数 $r$ 计算。随后，智能体转移至下一状态 $s_{t+1}$ ，其中包含更新后的对话历史

强化学习的目标是为智能体找到最优行为策略，使轨迹 $\tau=\{s_1,a_1,\ldots,s_T,a_T\}$ 上的累积奖励，即回报，达到最大。一种回报形式是有限时域无折扣回报 $R(\tau)=\sum_{t=1}^{T}r(s_t,a_t)$ ，即固定步数内累积奖励的总和
另一种形式是无限时域折扣回报 $R(\tau)=\sum_{t=0}^{\infty}\gamma^t r(s_t,a_t)$ ，它以折扣因子 $\gamma\in(0,1)$ 考虑智能体在整个轨迹中获得的所有奖励

策略梯度方法直接对参数化策略进行优化，也可以结合价值函数来估计优势。其核心思想是沿期望回报的梯度方向更新策略参数

策略 $\pi$ 通常由 $\theta$ 参数化，记为 $\pi(a\mid s,\theta)$ ，表示在状态 $s$ 下采取动作 $a$ 的概率。策略梯度的更新规则为

其中， $\alpha$ 为学习率， $J(\theta)$ 表示遵循策略 $\pi_{\theta}$ 时的期望回报，策略性能的梯度 $\nabla_{\theta}J(\theta)$ 称为策略梯度。对于上述有限时域无折扣回报，策略梯度可表示为

其中， $\Phi_t$ 可以取 $\Phi_t=R(\tau)$ 、 $\Phi_t=\sum_{t'=t}^{T}r(s_{t'},a_{t'})$ ，或带有基线 $b$ 的 $\Phi_t=\sum_{t'=t}^{T}r(s_{t'},a_{t'})-b(s_t)$ 。这些选择的方差不同，但在基线不依赖当前动作时，策略梯度的期望相同。这里使用完整轨迹的蒙特卡洛回报，而不依赖学习到的价值函数进行自举估计
然而，该方法的高方差也带来挑战。这种方差源于环境的随机性，例如一个回合内发生的随机事件，以及策略本身的随机性，使得不同轨迹可能产生不同的回报。为降低这种方差，一种常见策略是在策略梯度更新规则中，使用优势函数估计代替原始回报。优势函数 $A(s_t,a_t)$ 表示，在状态 $s_t$ 下采取特定动作 $a_t$ ，相对于同一策略下该状态中动作的平均质量，能够带来多大程度的改善。因此 $\Phi_t=A(s_t,a_t)$ 。

从数学上看， $A(s_t,a_t)=Q(s_t,a_t)-V(s_t)$ ，其中， $Q(s_t,a_t)$ 为动作价值函数，表示在状态 $s$ 下采取动作 $a_t$ 后的期望回报； $V(s_t)$ 为价值函数，表示状态 $s_t$ 下的平均期望回报。将优势函数与策略梯度结合，是强化学习领域的重要基础

PPO 和 TRPO 是强化学习中的两项关键技术，旨在不损害稳定性的前提下有效训练策略。这些方法背后的直觉是采用小而稳定的步长：以温和的方式推动策略优化，避免激进更新破坏整体学习过程的稳定性

在传统强化学习中，策略梯度的原理要求新旧策略在参数空间中保持接近。然而，参数空间中的接近并不必然意味着性能相近，参数的微小变化也可能显著影响策略的有效性。此外，如果采用较大且不受约束的更新步长，策略性能可能发生崩溃，这一固有风险限制原始策略梯度方法的样本效率
TRPO 不再局限于参数之间的接近程度，而是对策略更新引入另一种约束。它通过确保 KL 散度处于可接受的范围内，控制策略的变化

PPO 主要有两种变体：PPO-Penalty 和 PPO-Clip。TRPO 对 KL 散度施加硬约束，以防止有害更新；PPO-Penalty 则采用基于惩罚的方法替代约束，将其作为无约束优化问题处理

裁剪代理目标：PPO-Clip 尝试使新策略保持接近旧策略，但它不像 TRPO 那样对 KL 散度施加约束，而是在目标函数中使用经过裁剪的策略概率比。其目标函数表示为

其中， $\frac{\pi_{\theta}(a_t\mid s_t)}{\pi_{\theta_{\mathrm{old}}}(a_t\mid s_t)}$ 为新策略概率与旧策略概率之比， $\epsilon$ 是控制目标函数中概率比裁剪范围的超参数
clip 函数将 $\frac{\pi_{\theta}(a_t\mid s_t)}{\pi_{\theta_{\mathrm{old}}}(a_t\mid s_t)}$ 的值限制在 $[1-\epsilon,1+\epsilon]$ 之间。目标函数取裁剪前后两项的较小值，抑制有利方向上过大的概率比变化，但不对真实概率比或 KL 散度施加硬约束

价值函数估计。在 PPO 算法中，评论家模型通常也称为价值函数，用于估计每个状态的期望回报。该模型的学习目标是最小化预测值与实际回报值之间的差异。评论家模型的损失函数通常采用均方误差

其中， $V_{\phi}(s_t)$ 表示参数为 $\phi$ 的评论家模型对状态 $s_t$ 的价值预测， $\hat{R}_t$ 表示状态 $s_t$ 的实际回报值，可估计为 $\hat{R}_t=\sum_{l=0}^{\infty}\gamma^l r_{t+l}$

混合预训练梯度。为缓解 PPO 训练过程中模型语言能力和知识保持能力可能出现的退化，作者还探索在强化学习阶段引入预训练数据。采用这一方法的模型记为 PPO-ptx，其联合目标函数如下

其中， $\lambda_{\mathrm{ptx}}$ 为预训练损失系数， $\mathcal{D}_{\mathrm{pretrain}}$ 为预训练数据分布

🔮 Exploration of PPO

PPO 训练中的奖励上升与损失收敛并不必然意味着策略质量改善；过度优化可能使模型利用奖励模型的偏差获取高分，陷入固定生成模式，并产生分布外回答。因此，作者结合困惑度、策略模型与参考模型之间的 KL 散度及平均回答长度监测训练过程，将奖励分布长尾化、回答变长和固定生成模式的困惑度下降视为异常信号。这些指标主要用于判断训练稳定性和识别严重偏离，难以精确区分能力相近模型的优劣

单纯奖励缩放不足以保证 PPO 的稳定优化，而奖励或优势的归一化与裁剪能够在一定训练阶段内抑制波动，但效果依赖裁剪阈值。优势归一化仅在小批次内进行，优势裁剪的参数选择也更敏感；增大裁剪阈值可能带来更大的策略变化和更高的奖励，却不保证人工评估表现更好。因此，作者建议优先在奖励层面进行归一化与裁剪，采用较宽松的裁剪阈值，并结合其他策略约束控制过度优化
实验表明，策略约束是抑制过度优化、维持 PPO 长期训练稳定性的关键，其中 token 级 KL 惩罚能够限制策略偏离原始分布，并支持更长的训练过程。将采样策略固定为参考模型、复用该分布下的样本，并结合 KL 惩罚后，可进一步稳定训练，但会降低策略模型的最终性能。熵奖励对参数选择和代码实现高度敏感，即使配置得当，也未表现出相对于 KL 惩罚的明显优势。因此，作者优先推荐使用 KL 惩罚约束策略优化

OpenRLHF · compute_reward · GitHub

在作者的实验设置中，策略模型经过 SFT 是稳定开展 PPO 训练的重要前提：直接从预训练模型进行 PPO 训练会显著损害语言建模能力，且所得奖励低于 SFT 模型。相比之下，使用奖励模型或 SFT 模型初始化评论家模型，最终均能收敛至相近结果，差异主要体现在优化初期的数值稳定性。预先训练评论家模型能够改善优势估计并缓解早期波动，因此作者建议以评论家模型预训练替代学习率预热

🐉 Direct Preference Optimization: Your Language Model is Secretly a Reward Model

从模型广泛的知识与能力中选择期望的回答和行为，对于构建安全、高性能且可控的人工智能系统至关重要。现有方法通常使用强化学习引导语言模型与人类偏好保持一致，而作者将证明，这些方法采用的强化学习目标可以通过一个简单的二元交叉熵目标进行精确优化，从而大幅简化偏好学习流程

总体而言，现有方法使用经过整理的人类偏好数据，将期望的行为融入语言模型。这些偏好数据反映人类认为安全且有用的行为类型。偏好学习阶段发生在模型基于大规模文本数据集完成初始的大规模无监督预训练之后
虽然最直接的偏好学习方法，是使用人类提供的高质量回答示例进行监督微调，但最成功的一类方法是基于人类或人工智能反馈的强化学习。RLHF 方法首先在人类偏好数据集上拟合奖励模型，再使用强化学习优化语言模型策略，使其生成获得高奖励的回答，同时避免过度偏离原始模型
尽管 RLHF 能够训练出具有出色对话与编程能力的模型，但其流程远比监督学习复杂：不仅需要训练多个语言模型，还需要在训练循环中从语言模型策略进行采样，由此产生显著的计算开销

在本文中，作者展示如何直接优化语言模型，使其遵循人类偏好，而无需显式奖励建模或强化学习。作者提出直接偏好优化，该算法隐式优化与现有 RLHF 算法相同的目标，即在 KL 散度约束下最大化奖励，同时具有实现简单、训练直接的特点

直观而言，DPO 的更新会增大偏好回答与非偏好回答之间的对数概率差，同时引入针对每个样本动态调整的重要性权重，以防止作者在使用朴素概率比目标时观察到的模型退化
与现有算法类似，DPO 依赖于理论偏好模型，例如 Bradley–Terry 模型，用于衡量给定奖励函数与经验偏好数据的一致程度。然而，现有方法使用偏好模型定义偏好损失，以训练奖励模型，再训练策略以最大化所学奖励模型给出的奖励
DPO 则通过变量替换，直接将偏好损失定义为策略的函数。因此，给定一个包含人类对模型回答偏好的数据集，DPO 便可以使用简单的二元交叉熵目标优化策略，无需显式学习奖励函数，也无需在训练过程中从策略进行采样

🎬 Preliminaries

监督微调（SFT） RLHF 通常首先使用目标下游任务（例如对话、摘要生成等）的高质量数据，对预训练语言模型进行监督微调，得到模型 $\pi^{\mathrm{SFT}}$

奖励建模阶段。在第二阶段，使用提示 $x$ 引导 SFT 模型生成成对回答 $(y_1,y_2)\sim\pi^{\mathrm{SFT}}(y\mid x)$ 。随后，将这些回答呈现给人工标注者，由其表达对其中一个回答的偏好，记为 $y_w\succ y_l\mid x$ ，其中 $y_w$ 和 $y_l$ 分别表示 $(y_1,y_2)$ 中的偏好回答与非偏好回答

假设这些偏好由某个无法直接获取的潜在奖励模型 $r^*(x,y)$ 生成。偏好可以通过多种方法建模，其中 Bradley–Terry（BT）模型是一种常见选择。如果能够获取多个已排序的回答，那么更一般的 Plackett–Luce 排序模型也与该框架兼容。BT 模型规定，人类偏好分布 $p^*$ 可表示为

假设可以获得从 $p^*$ 中采样得到的静态比较数据集 $\mathcal{D}=\{x^{(i)},y_w^{(i)},y_l^{(i)}\}_{i=1}^{N}$ ，便可以构建参数化奖励模型 $r_\phi(x,y)$ ，并通过最大似然估计其参数。将该问题表述为二分类问题，可以得到以下负对数似然损失

其中， $\sigma$ 为 logistic 函数。在语言模型场景中，网络 $r_\phi(x,y)$ 通常由 SFT 模型 $\pi^{\mathrm{SFT}}(y\mid x)$ 初始化，并在最后一个 Transformer 层之上添加一个线性层，输出标量奖励。为固定奖励的基准，可以逐提示进行中心化，使得对所有 $x$ 均有 $\mathbb{E}_{y\sim\mathcal{D}(\cdot\mid x)}[r_\phi(x,y)]=0$

强化学习微调阶段。在强化学习阶段，使用学习得到的奖励函数为语言模型提供反馈。具体而言，构建以下优化问题

其中， $\beta$ 是控制策略相对于基础参考策略 $\pi_{\mathrm{ref}}$ 偏离程度的参数， $\pi_{\mathrm{ref}}$ 即初始 SFT 模型 $\pi^{\mathrm{SFT}}$
在实际应用中，语言模型策略 $\pi_\theta$ 也初始化为 $\pi^{\mathrm{SFT}}$ 。KL 正则化用于限制策略偏离参考分布，并保留一定的生成多样性。由于回答是离散采样结果，不能直接沿采样操作反向传播，通常使用策略梯度估计来优化该期望目标
标准做法是构造奖励函数 $r(x,y)=r_\phi(x,y)-\beta\left(\log\pi_\theta(y\mid x)-\log\pi_{\mathrm{ref}}(y\mid x)\right)$ ，并使用 PPO 最大化该奖励

🍎 Direct Preference Optimization

鉴于将强化学习算法应用于语言模型微调等大规模问题所面临的挑战，作者旨在推导一种直接利用偏好进行策略优化的简单方法。以往的 RLHF 方法先学习奖励，再通过强化学习对其进行优化；本文方法则绕过奖励建模步骤，直接使用偏好数据优化语言模型

其核心思想是利用奖励函数到最优策略之间的解析映射，将定义在奖励函数上的损失转化为定义在策略上的损失。通过这种变量替换，可以跳过显式奖励建模步骤，同时仍基于现有的人类偏好模型，例如 Bradley–Terry 模型，进行优化。从本质上看，策略网络同时表示语言模型和奖励

DPO 从带 KL 约束的奖励最大化目标推导直接偏好优化损失。作者从与已有研究相同的强化学习目标出发，考虑一般奖励函数 $r$ 。遵循已有研究，可以直接证明，式中带有 KL 约束的奖励最大化目标，其最优解具有以下形式

其中， $Z(x)=\sum_y\pi_{\mathrm{ref}}(y\mid x)\exp\left(\frac{1}{\beta}r(x,y)\right)$ 为配分函数。即使采用真实奖励函数 $r^*$ 的最大似然估计 $r_\phi$ ，估计配分函数 $Z(x)$ 的成本仍然很高，使得这种表示难以在实践中使用
可以对公式（4）进行变换，将奖励函数表示为其对应的最优策略 $\pi_r$ 、参考策略 $\pi_{\mathrm{ref}}$ 和未知配分函数 $Z(\cdot)$ 的函数。具体而言，先对公式两侧取对数，再进行代数变换，可得

Bradley–Terry 模型仅依赖于两个回答之间的奖励差，即 $p^*(y_1\succ y_2\mid x)=\sigma\left(r^*(x,y_1)-r^*(x,y_2)\right)$ 。将公式（5）中关于 $r^*(x,y)$ 的重参数化代入公式（1）的偏好模型后，配分函数会相互抵消，从而可以仅使用最优策略 $\pi^*$ 和参考策略 $\pi_{\mathrm{ref}}$ 表示人类偏好概率。因此，Bradley–Terry 模型下的最优 RLHF 策略 $\pi^*$ 满足以下偏好模型

现在，人类偏好数据的概率已经由最优策略而非奖励模型表示，因此可以为参数化策略 $\pi_\theta$ 构建最大似然目标

通过这种方式，既绕过显式奖励建模步骤，也避免强化学习优化。此外，由于该过程等价于拟合一个经过重参数化的 Bradley–Terry 模型，因此具有一定的理论性质，例如在偏好数据分布满足适当假设时的一致性

DPO 更新的作用：为理解 DPO 的作用机制，可以分析损失函数 $\mathcal{L}_{\mathrm{DPO}}$ 的梯度。其关于参数 $\theta$ 的梯度可写为

其中， $\hat{r}_\theta(x,y)=\beta\log\frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}$ 是由语言模型 $\pi_\theta$ 和参考模型 $\pi_{\mathrm{ref}}$ 隐式定义的奖励。直观而言，损失函数 $\mathcal{L}_{\mathrm{DPO}}$ 的梯度会提高偏好回答 $y_w$ 的似然，并降低非偏好回答 $y_l$ 的似然
重要的是，样本根据隐式奖励模型 $\hat{r}_\theta$ 对非偏好回答的评分高出多少进行加权，并由 $\beta$ 进行缩放；这一加权在考虑 KL 约束强度的同时，反映隐式奖励模型对回答排序的错误程度

OpenRLHF · DPOLoss.forward（ipo=False，label_smoothing=0） · GitHub

☕ DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models

本研究提出 DeepSeekMath，这是一种面向特定领域的语言模型，其数学能力显著优于开源模型，并在学术基准上接近 GPT-4 的性能水平

为实现这一目标，作者构建 DeepSeekMath Corpus，这是一个包含 120B 个数学 token 的大规模高质量预训练语料库。该数据集通过基于 fastText 的分类器从 Common Crawl中提取
在初始迭代中，分类器使用 OpenWebMath 中的样本作为正例，并选取多种其他网页作为负例进行训练。随后，作者使用分类器从 CC 中挖掘更多正例，并通过人工标注进一步完善这些样本，再利用改进后的数据集更新分类器，以提升其性能
评估结果表明，这一大规模语料库具有较高质量：基础模型 DeepSeekMath-Base 7B 在 GSM8K 上达到 64.2%，在竞赛级 MATH 数据集上达到 36.2%，超过 Minerva 540B

DeepSeekMath-Base 使用 DeepSeek-Coder-Base-v1.5 7B 进行初始化，因为作者发现，与通用大语言模型相比，采用经过代码训练的模型作为起点更为合适。此外，作者观察到，数学训练也提升模型在 MMLU 和 BBH 基准上的能力，表明这种训练不仅增强模型的数学能力，也提升通用推理能力

预训练完成后，作者使用思维链、程序思维和工具集成推理数据，对 DeepSeekMath-Base 进行数学指令微调。所得模型 DeepSeekMath-Instruct 7B 超过所有同类 7B 模型，并可与 70B 规模的开源指令微调模型相媲美
在数学训练之前进行代码训练，能够提升模型在使用工具和不使用工具两种情况下解决数学问题的能力

作者提出组相对策略优化（GRPO），这是一种高效且有效的强化学习算法。GRPO 不使用评论家模型，而是根据组内得分估计基线，与近端策略优化相比，显著降低训练资源需求

实验表明，仅使用指令微调数据，GRPO 即可显著提升指令微调模型 DeepSeekMath-Instruct 的性能。此外，作者还观察到，模型的域外性能在强化学习过程中有所提升
作者提供一个统一范式，用于理解 RFT、DPO、PPO 和 GRPO 等不同方法。同时，作者开展广泛的实验，包括在线与离线训练、结果监督与过程监督、单轮与迭代强化学习等，以深入研究这一范式的关键要素
基于这一统一范式，作者探索强化学习有效的原因，并总结若干潜在方向，以实现更有效的大语言模型强化学习

🎭 Group Relative Policy Optimization

近端策略优化是一种行动者—评论家强化学习算法，广泛应用于大语言模型的强化学习微调阶段。该算法通过最大化以下替代目标来优化大语言模型

其中， $\pi_\theta$ 和 $\pi_{\theta_{\mathrm{old}}}$ 分别为当前策略模型和旧策略模型， $q$ 和 $o$ 分别是从问题数据集和旧策略 $\pi_{\theta_{\mathrm{old}}}$ 中采样得到的问题与输出。 $\varepsilon$ 是 PPO 中为稳定训练而引入的裁剪相关超参数。 $A_t$ 为优势，通过广义优势估计，基于奖励 $\{r_{\ge t}\}$ 和学习得到的价值函数 $V_\psi$ 计算
因此，在 PPO 中，需要在训练策略模型的同时训练价值函数。为缓解对奖励模型的过度优化，标准做法是在每个 token 的奖励中加入相对于参考模型的 token 级 KL 惩罚，即

其中， $r_\varphi$ 为奖励模型， $\pi_{\mathrm{ref}}$ 为参考模型，通常是初始 SFT 模型， $\beta$ 为 KL 惩罚系数

由于 PPO 中使用的价值函数通常由另一个与策略模型规模相当的模型表示，因此会带来较大的显存和计算负担。此外，在强化学习训练中，价值函数作为优势计算中的基线，用于降低方差。然而，在大语言模型场景下，奖励模型通常仅为最后一个 token 分配奖励分数，这可能增加训练一个能够在每个 token 上进行准确估计的价值函数的难度

作者提出组相对策略优化。该方法不再需要像 PPO 那样额外学习价值函数近似，而是使用针对同一问题采样得到的多个输出的平均奖励作为基线。具体而言，对于每个问题 $q$ ，GRPO 从旧策略 $\pi_{\theta_{\mathrm{old}}}$ 中采样一组输出 $\{o_1,o_2,\ldots,o_G\}$ ，随后通过最大化以下目标优化策略模型

其中， $\varepsilon$ 和 $\beta$ 为超参数， $\hat{A}_{i,t}$ 是仅根据各组内部输出的相对奖励计算得到的优势。GRPO 采用组内相对关系计算优势，这与奖励模型的比较性质相契合，因为奖励模型通常使用同一问题下不同输出之间的比较数据进行训练。此外，GRPO 并不在奖励中加入 KL 惩罚，而是直接在损失中加入训练策略与参考策略之间的 KL 散度进行正则化，从而避免使 $\hat{A}_{i,t}$ 的计算复杂化。下式是非负的 token 级 KL 估计量。在两策略具有共同支持、token 从当前策略采样时，它是无偏的；复用旧策略样本进行多轮更新时则不再严格无偏

结果监督： 对于给定问题，从旧策略中采样条候选回答，并由奖励模型为每条完整回答赋予序列级奖励。组内奖励的均值与标准差定义为

将序列级奖励进行组内标准化，作为对应回答的优势估计；同一回答中的所有 token 共享相同的优势值

过程监督： 过程奖励模型对各推理步骤赋予步骤级奖励。记第条回答包含个推理步骤，第步的终止位置为，对应奖励为。以同一问题下全部候选回答的步骤奖励为归一化集合，其样本数、均值与标准差定义为

对步骤级奖励进行标准化后，将当前 token 所属步骤及后续步骤的标准化奖励累加，得到该 token 的优势估计

两种监督方式均将上述优势估计代入 GRPO 目标。若归一化所用的标准差为零，则将相应的标准化奖励置为零

随着强化学习训练的推进，旧奖励模型可能不足以监督当前策略模型。因此，作者还探索使用 GRPO 进行迭代强化学习。如算法 1 所示，在迭代 GRPO 中，作者根据策略模型的采样结果，为奖励模型生成新的训练集，并采用包含 10% 历史数据的回放机制，继续训练旧奖励模型。随后，以策略模型作为参考模型，并使用新的奖励模型继续训练策略模型

Algorithm 1 Iterative Group Relative Policy Optimization

Input: initial policy , reward model , task prompts , hyperparameters

☀️ Insights of Reinforcement Learning

统一梯度分析框架将 SFT、RFT、DPO、PPO 和 GRPO 等方法分解为数据来源、奖励函数与更新算法，并通过实验考察各组成部分的作用

训练方法关于参数的梯度可统一写为

数据来源 决定训练样本的分布；奖励函数 提供评价信号；算法将样本及评价信号转化为梯度系数，决定各样本在更新中的方向与权重
监督微调（SFT）：使用人工筛选的示范数据对预训练模型进行微调
拒绝采样微调（RFT）：针对 SFT 数据中的问题，从固定的 SFT 模型采样回答，依据答案正确性筛选样本，再使用保留的回答进行微调
直接偏好优化（DPO）：在本节的离线设置中，从 SFT 模型采样回答并构造偏好对，通过成对的 DPO 目标进一步训练模型
在线拒绝采样微调（Online RFT）：使用 SFT 模型初始化策略，在训练过程中持续从当前策略采样回答，并根据正确性筛选后进行更新
PPO / GRPO：使用 SFT 模型初始化策略，周期性采样当前策略的回答，结合奖励信号与优势估计进行强化学习更新

在线采样持续提供与当前策略分布相匹配的训练数据

本节将采样方式区分为离线与在线两类：离线方法使用初始 SFT 模型生成的固定数据，在线方法持续使用训练过程中策略模型的探索结果。因此，RFT 和本节的 DPO 属于离线方法，Online RFT、PPO 和 GRPO 属于在线方法
在 GSM8K 与 MATH 实验中，Online RFT 在训练初期与 RFT 表现接近，随后逐渐取得优势。训练初期的策略与初始 SFT 模型较为接近，两者生成的数据差异有限；随着策略更新，在线采样能够持续提供与当前策略分布相匹配的训练样本

奖励信号经算法转换为梯度系数，决定各回答的更新方向与强度

实验区分两类奖励信号：规则奖励根据答案正确性评价回答，模型奖励则由训练得到的奖励模型提供连续分数；奖励模型的训练标签同样依据规则判定结果构造
Online RFT 对正确回答使用相同的筛选系数，对错误回答赋予零权重。GRPO 则根据组内相对奖励构造优势，使不同回答获得不同符号与幅度的梯度系数，从而同时实现强化与抑制

该实验中，强化学习的收益主要体现为已有正确推理路径的生成概率提高

在 DeepSeekMath 的 GSM8K 与 MATH 实验中，强化学习提高多数投票正确率 Maj@K，但未提高衡量次采样中是否至少包含一个正确回答的 Pass@K。这一结果支持以下解释：改进主要表现为提高已有正确推理路径的生成概率，使输出分布更稳定

SFT · 监督微调

SFT 直接最大化示范回答的平均对数似然，其中为示范数据的联合分布

对参数求导可得

数据来源为 SFT 示范数据，人工筛选体现对样本质量的判断；无需额外的显式奖励模型，梯度系数

RFT · 拒绝采样微调

对 SFT 数据中的问题，从固定的 SFT 模型采样回答。记这一联合分布为，并用表示答案是否正确，目标为

由于采样分布与正确性标签在更新时固定，梯度为

奖励信号来自正确性规则，梯度系数为二值筛选权重

Online RFT · 在线拒绝采样微调

Online RFT 将固定 SFT 模型替换为当前批次的采样策略。记，在固定这批样本的条件下，更新方向为

正确性判定与梯度系数均与 RFT 相同；区别在于后续批次会使用更新后的策略重新采样，求导时不对本批次的离散采样过程反向传播

DPO · 直接偏好优化

将采样回答按偏好标注整理为，其中为偏好回答。按回答长度归一化，记平均对数概率比为，并定义

对同一偏好对，两个回答共享系数，但在梯度中符号相反，其中

奖励信号体现在偏好标签中，可以来自人工判断或数学答案正确性规则。梯度系数取决于完整偏好对的分数差，而非单个 token 的局部对数比

若采用前文标准 DPO 的序列对数概率比约定，则去掉及对应梯度中的长度归一化因子，链式求导形式不变

PPO · 近端策略优化

对当前批次，固定旧策略与优势，记概率比，PPO 的裁剪目标为

在更新起点，概率比为 1，位于裁剪区间内部。因此，该点的梯度可以由以下未裁剪的代理目标计算

在更新起点求导得到

此时的梯度系数就是优势估计

由奖励与学习得到的价值函数通过 GAE 估计。上述简化描述的是更新起点的梯度；复用同一批样本进行多轮更新时，仍需考虑概率比与裁剪

GRPO · 组相对策略优化

对每个问题采样条回答，记联合采样分布为，上下文为。沿用 PPO 的概率比定义，并记
固定组内优势，在更新起点附近，GRPO 的未裁剪代理目标可写为

对 KL 估计项求导，得到。因此，在更新起点的总梯度为

奖励信号用于构造组内相对优势，梯度系数还包含参考策略约束带来的修正