1.1 PPO与DPO的问题

在前两篇文章中，我们分别探讨了两种主流的对齐范式：

• PPO（Proximal Policy Optimization） ：通过裁剪机制和KL散度约束实现稳定策略更新，是RLHF的事实标准。但需要同时维护四个模型（Actor、Critic、Reward Model、Reference Model），其中Critic（价值网络）的规模与策略模型相当。在千亿参数大模型时代，这意味着双倍的显存占用和计算开销。更关键的是，Critic网络需要根据已生成的部分内容预测最终累积奖励——这在长链推理场景中极易出现预测偏差，且训练本身就不稳定。

• DPO（Direct Preference Optimization） ：通过数学推导将RLHF简化为监督学习，只需两个模型。但作为离线算法，DPO完全依赖静态偏好数据，无法像PPO那样在训练中动态探索新策略。对于需要模型自主探索推理路径的复杂任务（如数学推理、代码生成），DPO的能力边界明显。

这引出了一个关键问题：能否在保留PPO在线探索能力的同时，移除那个昂贵的Critic网络？

1.2 GRPO算法提出背景

2024年，DeepSeek团队在DeepSeekMath论文中给出了答案——GRPO（Group Relative Policy Optimization，群体相对策略优化） 。其核心思想是：优势函数不一定要通过”预测绝对价值”来获得。对于同一个prompt生成的一组回答，它们的相对优劣本身就蕴含了足够的更新信号。

换言之，GRPO不再训练一个价值网络来估计”这个回答的绝对分数是多少”，而是让模型对同一个prompt生成一组回答，直接用组内的相对排名来指导学习。这就像一场考试：PPO需要一个”绝对分数标准”来评判每个学生（Critic网络），而GRPO只需要看每个学生在班级里的相对排名就够了。

这一设计将RLHF的模型数量从4个降至3个（移除Critic），显存占用降低40%以上，同时保留了在线探索能力。它随后被用于DeepSeek-R1-Zero和DeepSeek-R1的训练，成为支撑其突破性推理能力的核心方法论。

2.1 PPO的Critic困境

在PPO中，优势函数的计算依赖Critic网络对状态价值的估计： $A_t = Q(s_t, a_t) - V(s_t)$

其中 $V(s_t)$ 是Critic网络预测的”当前状态的平均期望回报”。这个设计的核心问题在于：

1. 资源消耗巨大：需要训练一个与策略模型规模相当的独立价值网络
2. 训练不稳定：Critic网络的预测误差会通过优势函数直接传导至策略更新，形成误差放大效应
3. 长序列预测困难：在推理任务（如数学证明、长文本生成）中，Critic需要根据已生成的部分内容预测尚未发生的最终奖励，极易出错——这是一个极具挑战性的信用分配 问题

2.2 GRPO的组内相对优势

GRPO的解决方案直击要害：对于同一个prompt，从旧策略中采样$G$个回答组成一个”组”，直接用组内奖励的均值和标准差来归一化每个回答的奖励，作为优势估计。

具体来说，对于prompt $q$，从旧策略$\pi_{\theta_{old}}$中采样$G$个回答$\{o_1, o_2, ..., o_G\}$，每个回答通过奖励模型得到一个奖励值$\{R_1, R_2, ..., R_G\}$。对于第$i$个回答中的第$t$个token，其优势为：

$\hat{A}_{i,t} = \frac{R_i - \text{mean}(\{R_j\}_{j=1}^G)}{\text{std}(\{R_j\}_{j=1}^G)}$

$\text{mean}(\{R_j\}_{j=1}^G) = \frac{1}{G}\sum_{j=1}^G R_j, \quad \text{std}(\{R_j\}_{j=1}^G) = \sqrt{\frac{1}{G}\sum_{j=1}^G (R_j - \mu)^2 + \epsilon}$

这个公式的含义非常直观：

• 分子$R_i - \text{mean}(\{R_j\})$：衡量当前回答相比组内平均水平的优劣
• 分母$\text{std}(\{R_j\})$：用组内标准差进行归一化，使优势值在不同组之间具有可比性。其中$\epsilon$是极小常数（如1e-8），防止除零
• 最终得到的优势值：正数表示这个回答比组内平均水平好，负数表示比平均水平差，绝对值大小表示好/差的程度

关键设计决策：组内所有token共享同一个优势值——因为奖励通常是在整个回答层面计算的（如数学题答案是否正确）。这意味着GRPO不进行token级别的细粒度优势分配，而是将回答级别的”好/坏”信号均匀地传递给生成过程中的每一个token。

从对比学习的视角来看，GRPO的组内归一化实际上构建了一个对比目标：组内奖励较高的回答获得正优势（被鼓励），较低的获得负优势（被抑制）。这相当于在回答空间中执行了一个soft ranking——模型不仅要知道”什么是好的”，还要学会在候选集中区分好坏。

2.3 GRPO的目标函数

与PPO类似，GRPO也采用裁剪代理目标 ，并加入KL散度约束（通常以奖励塑形的形式实现）：

$\mathcal{J}_{GRPO}(\theta) = \mathbb{E}_{q \sim P(Q), \{o_i\}_{i=1}^G \sim \pi_{\theta_{old}}(O|q)} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \min\left( r_{i,t}(\theta) \hat{A}_{i,t}, \text{clip}(r_{i,t}(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_{i,t} \right) \right] - \beta D_{KL}(\pi_\theta || \pi_{ref})$

其中$r_{i,t}(\theta) = \frac{\pi_\theta(o_{i,t}|q, o_{i,<t})}{\pi_{\theta_{old}}(o_{i,t}|q, o_{i,<t})}$是重要性采样比率，衡量新策略与旧策略在生成该token上的概率比值。

这个目标函数与PPO的核心差异只有一处：优势$\hat{A}_{i,t}$的计算方式。PPO依赖Critic网络估计的$V(s_t)$，而GRPO直接用组内归一化奖励替代。所有其他组件——裁剪机制、KL约束、重要性采样——都得以完整保留。

实际实现中的简化：DeepSeek团队的实现采用了一种更简洁的形式，直接最大化以下目标：

其中 $A_i = \hat{A}_{i,t}$（组内所有token共享同一优势值），整体概率比基于整个回答序列计算。这种简化利用了语言模型自回归分解的性质，在工程实现上更加高效。

2.4 GRPO的白化操作：统计学的视角

GRPO对组内奖励进行均值-标准差归一化（又称白化），这并非可有可无的设计，而是有深刻的统计学考量。

• 在强化学习中，优势函数的尺度直接影响策略更新的幅度。如果不同batch之间的奖励尺度差异很大，那么梯度更新的步长就会随之剧烈波动，导致训练不稳定。通过除以组内标准差，GRPO将优势值标准化到统一的尺度上，使得策略更新在不同batch之间保持一致的步长。
• 从信息论的角度看，这种归一化操作实际上是在消除奖励分布的位置和尺度对更新信号的影响，使得更新信号纯粹反映”相对优劣”。这类似于深度学习中的Batch Normalization——它不改变信息的本质，但显著改善了优化过程的动力学特性。
• 更深入地说，GRPO的均值+方差归一化实际上诱导出了一个加权对比损失，其中对比样本是从旧策略中采样的合成数据。这意味着GRPO在本质上是在做一个”组内对比学习”——让模型学会区分组内”好”与”坏”的回答，而不仅仅是追求绝对的高奖励。这种对比性质使得GRPO在面对奖励模型的”标定漂移”（不同prompt之间奖励尺度不一致）时具有天然的鲁棒性。

用代码来理解会更直观：

1
def grpo_advantage(rewards: List[float]) -> List[float]:
2
    """
3
    计算GRPO的组内相对优势
4
    Args: rewards: 组内G个回答的奖励值列表
5
    Returns: 归一化后的优势值列表，每个回答对应一个优势
6
    """
7
    G = len(rewards)
8
    mean_reward = sum(rewards) / G
9
    # 计算样本标准差（Bessel校正）
10
    variance = sum((r - mean_reward) ** 2 for r in rewards) / G
11
    std_reward = variance ** 0.5 + 1e-8  # 加小常数防止除零
12

13
    advantages = [(r - mean_reward) / std_reward for r in rewards]
14
    return advantages

2.5 GRPO的理论性质：U-统计量视角

2026年的一项理论工作为GRPO提供了更深层的数学理解。研究发现：GRPO的策略梯度本质上是一个U-统计量（U-statistic） ——一类在统计学中具有优良渐近性质的估计量——它在估计总体参数时具有最小渐近方差。

具体来说，GRPO使用基于组的平均作为优势估计器，其梯度可以表示为：

这一估计器具备以下理论性质：

• 一致性：当组大小 $G \to \infty$ 时，GRPO的梯度估计收敛到使用真实优势函数的梯度
• 有限样本误差界：均方误差（MSE）随 $1/G$ 衰减，刻画了组大小对估计精度的量化影响
• 次优间隙的渐近分布：为算法收敛速度提供了理论保证

这一理论分析揭示了GRPO的一个深层特性：虽然GRPO去掉了显式的价值网络，但通过组内采样和归一化，它隐式地实现了与”拥有完美价值网络”的算法渐近等价的效果。换句话说，当组大小$G$足够大时，GRPO的优势估计精度可以逼近甚至达到完美Critic的水平。

然而，同期另一项研究也指出了GRPO的理论边界：GRPO本质上是一个保守的重新加权方案，其探索边界受限于基座模型的分布——这意味着它无法自主发现完全新颖的解决方案。这一发现与后来的实践观察一致：GRPO在需要模型”跳出框架”进行创造性思考的任务中，表现确实存在天花板。

3.1 训练流程步骤

1. 组采样（Group Rollout）：对于每个prompt $q$，从当前策略 $\pi_{\theta_{old}}$ 中并行采样 $G$ 个回答（通常 $G = 8 \sim 16$），这些回答构成一个”组”，是GRPO算法统计推断的基本单元。
2. 奖励计算（Reward Scoring）：奖励模型（或可验证的规则）对每个回答打分，得到 $\{R_1, R_2, \ldots, R_G\}$
   • 对于可验证任务（如数学题），奖励可以是规则的二元判断（正确/错误）
   • 对于开放式任务，则依赖训练好的奖励模型提供连续评分。
3. 优势计算与白化（Advantage Normalization）：计算组内均值和标准差，对每个回答，计算归一化优势 $\hat{A}_i = (R_i - \mu) / \sigma$，组内所有token共享同一优势值
4. 策略优化（Policy Update）：使用GRPO目标函数，在采样数据上进行多轮小批量梯度更新
   • 裁剪机制（$\epsilon$）限制更新幅度
   • 可选KL散度约束防止偏离参考模型过远

实际工程中的优化：

• 推理与训练并行：使用vLLM等高效推理框架进行组采样，采样与梯度更新交替进行
• 组采样的批次设计：通常将多个prompt的组采样合并为一个大的推理batch，最大化GPU利用率
• 奖励模型缓存：对于确定性奖励（如数学题答案），可缓存计算结果避免重复计算

3.2 核心伪代码

1
import torch
2
from typing import List, Dict
3
from transformers import AutoModelForCausalLM
4

5
# ==================== 初始化阶段 ====================
6
# 1. 加载参考模型 (通常是SFT后的模型，冻结)
7
model_ref = AutoModelForCausalLM.from_pretrained("sft_model")
8
for param in model_ref.parameters():
9
    param.requires_grad = False
10

11
# 2. 加载待训练的策略模型 (从SFT模型初始化)
12
model_actor = AutoModelForCausalLM.from_pretrained("sft_model")
13

14
# 3. 加载奖励模型 (或使用可验证的规则，如数学答案检查器)
15
model_rm = AutoModelForCausalLM.from_pretrained("reward_model")
16

17
# 4. 加载prompt数据集
18
prompts_dataset = load_prompts("math_train_prompts.jsonl")
19

20
# 超参数
21
GROUP_SIZE = 16          # 组大小G
22
EPSILON = 0.2            # 裁剪范围
23
KL_BETA = 0.01           # KL惩罚系数
24
LEARNING_RATE = 1e-6
25
EPOCHS_PER_ITER = 5      # 每批数据的复用轮数
26
BATCH_SIZE = 128
27

28
optimizer = torch.optim.AdamW(model_actor.parameters(), lr=LEARNING_RATE)
29

30
# ==================== 主训练循环 ====================
31
for iteration in range(total_iterations):
32

33
    # ---------- Step 1: 组采样 (Group Sampling) ----------
34
    # 对于每个prompt，从当前策略并行采样G个回答
35
    grouped_experiences = []  # 存储所有组的经验
36

37
    for prompt_batch in dataloader(prompts_dataset, batch_size=BATCH_SIZE):
38
        # 对batch中的每个prompt，采样G个回答
39
        # 这里使用并行采样提升效率，实际可用vLLM等推理框架
40
        for prompt in prompt_batch:
41
            # 从当前策略采样G个回答
42
            responses = model_actor.sample(
43
                prompt,
44
                num_samples=GROUP_SIZE,
45
                temperature=0.7,  # 适度温度确保组内多样性
46
                max_length=2048
47
            )
48

49
            # 计算每个回答的生成概率 (用于后续重要性比率的计算)
50
            log_probs = model_actor.compute_log_probs(responses)
51

52
            grouped_experiences.append({
53
                "prompt": prompt,
54
                "responses": responses,
55
                "log_probs": log_probs,  # shape: [G, seq_len]
56
                "ref_log_probs": model_ref.compute_log_probs(responses)
57
            })
58

59
    # ---------- Step 2: 奖励计算与组内归一化 (Reward & Normalization) ----------
60
    for group in grouped_experiences:
61
        # 计算每个回答的奖励 (通过奖励模型或规则)
62
        rewards = []
63
        for response in group["responses"]:
64
            reward = model_rm.score(group["prompt"], response)
65
            # 可选: 加入格式奖励、长度惩罚等辅助信号
66
            rewards.append(reward)
67

68
        # 组内归一化 -> 优势值
69
        group["rewards"] = rewards
70
        group["advantages"] = grpo_advantage(rewards)  # shape: [G]
71

72
        # 计算最终奖励 = 原始奖励 + KL惩罚 (每个token)
73
        # 注意: 实际训练中，KL惩罚通常与原始奖励合并后再做组归一化
74
        # 即在奖励计算阶段就加入 -beta * KL 项
75
        kl_penalized_rewards = []
76
        for i, response in enumerate(group["responses"]):
77
            kl_div = group["log_probs"][i] - group["ref_log_probs"][i]
78
            # 每个token的KL惩罚，累加后从总奖励中扣除
79
            total_kl = kl_div.sum().item()
80
            kl_penalized_rewards.append(rewards[i] - KL_BETA * total_kl)
81

82
        # 重新用KL惩罚后的奖励进行归一化
83
        group["kl_penalized_rewards"] = kl_penalized_rewards
84
        group["advantages"] = grpo_advantage(kl_penalized_rewards)
85

86
    # ---------- Step 3: 策略更新 (Policy Optimization) ----------
87
    # 将所有组的数据展平为统一的训练集
88
    dataset = flatten_experiences(grouped_experiences)
89

90
    for epoch in range(EPOCHS_PER_ITER):
91
        for batch in sample_batches(dataset, BATCH_SIZE):
92
            # 计算当前策略下的概率比
93
            new_log_probs = model_actor.compute_log_probs(batch["responses"])
94
            # ratio: [B, seq_len]，每个token的π_θ / π_θ_old
95
            ratio = torch.exp(new_log_probs - batch["log_probs"])
96

97
            # 获取优势 (每个回答一个标量，广播到所有token)
98
            advantages = batch["advantages"].unsqueeze(-1)  # [B, 1]
99

100
            # ---------- 裁剪策略损失 ----------
101
            surr1 = ratio * advantages
102
            surr2 = torch.clamp(ratio, 1 - EPSILON, 1 + EPSILON) * advantages
103
            policy_loss_per_token = -torch.min(surr1, surr2)
104

105
            # 按回答长度平均 (而非按token求和)
106
            # 这是为了防止长回答获得不成比例的梯度
107
            seq_lengths = batch["seq_lengths"]  # [B]
108
            policy_loss = (policy_loss_per_token.sum(dim=-1) / seq_lengths).mean()
109

110
            # ---------- KL散度约束 (可选，也可在奖励中处理) ----------
111
            # 这里作为额外的正则项加入损失
112
            kl_loss = (new_log_probs - batch["ref_log_probs"]).mean()
113

114
            # ---------- 熵奖励 (可选) ----------
115
            entropy = model_actor.compute_entropy(batch["responses"]).mean()
116
            entropy_bonus = -ENTROPY_COEFF * entropy  # 最大化熵
117

118
            # ---------- 总损失 ----------
119
            loss = policy_loss + KL_BETA * kl_loss + entropy_bonus
120

121
            optimizer.zero_grad()
122
            loss.backward()
123
            torch.nn.utils.clip_grad_norm_(model_actor.parameters(), max_norm=1.0)
124
            optimizer.step()
125

126
    # ---------- Step 4: 迭代结束 ----------
127
    # 下一轮迭代中，model_actor即为当前最新策略，用于采样新数据
128
    print(f"Iteration {iteration}, Average Reward: {avg_reward:.2f}")

要点总结：

1. 采样与更新的分离：与PPO一样，GRPO采用”先采样、后更新”的范式，所有采样数据在更新前一次性收集完毕。
2. KL惩罚的放置位置：实践中，KL惩罚可以放在奖励计算阶段（在归一化之前）或作为损失中的正则项。DeepSeek的实现倾向于在奖励计算阶段处理，这样可以与组归一化一起进行。
3. 长度归一化：GRPO在损失计算时按回答长度进行平均，而非求和。这是为了防止长回答因累积更多的log概率而获得不当的梯度优势——这在数学推理中尤为重要，因为不同推理路径的长度差异可能很大。
4. 并行采样优化：GRPO的组采样天然适合与vLLM等高效推理框架配合，可以在单次前向传播中批量生成$G$个回答，大幅提升采样效率。

4.1 GRPO解决的问题

1. 解决了PPO中Critic网络的资源消耗问题：GRPO完全移除了价值网络，将训练时的模型数量从4个减少到3个（Actor + Reward Model + Reference Model）。根据论文数据，显存占用降低40%以上。这对于千亿参数级别的大模型训练而言，是质的飞跃。
2. 解决了价值网络估计偏差的传导问题：PPO中Critic网络的预测误差会直接污染优势函数，进而影响策略更新。GRPO通过组内相对比较，从根本上绕过了”预测未来回报”这个难题，直接用实际观测到的组内奖励来定义优势。
3. 解决了GAE的超参数调优问题：PPO的广义优势估计（GAE）引入了$\gamma$和$\lambda$两个超参数，需要精细调优。GRPO去除了GAE模块，无需调参GAE系数，在MATH等复杂推理任务中默认效果即优于PPO。
4. 保留了PPO的在线探索能力：与DPO的离线设计不同，GRPO仍然是在线策略优化算法——每次迭代都从当前策略采样新数据。这使得模型能够在训练中持续探索新的推理路径，对于需要模型自主发现解题策略的复杂推理任务至关重要。

4.2 GRPO的创新点

5.1 适用场景

1. 数学推理与代码生成：DeepSeek-Math和DeepSeek-R1的核心算法，在AIME 2024上Pass@1从15.6%提升至51.7%，充分验证了其在复杂推理任务上的有效性。
2. 可验证奖励的场景：当奖励可以通过规则自动验证时（如数学题的答案是否正确、代码是否能编译运行），GRPO可以完全不需要奖励模型，直接使用规则奖励，进一步降低资源需求。
3. 资源受限的大模型训练：显存占用降低40%以上，使得在有限硬件（如8×A100）上训练更大模型成为可能。
4. 需要在线探索的复杂推理任务：模型需要在训练中自主发现推理路径，而非仅依赖静态数据——这正是数学推理、算法设计等任务的核心需求。
5. 分布式训练环境：GRPO的组内采样天然适配并行化，通信开销低，适合大规模分布式训练集群。

5.2 核心优势

5.3 核心局限

5.4 演进方向

1. 问题一：训练稳定性不足。 GRPO仍然存在训练崩溃的风险，尤其是在大规模训练中。这催生了DAPO（Dynamic Sampling Policy Optimization）——在GRPO基础上引入了四项关键技术：解耦裁剪（Clip-Higher）、动态采样（Dynamic Sampling）、Token-Level策略梯度损失、以及过长奖励塑形等训练优化技术，在AIME 2024上以50%更少的训练步数超越了DeepSeek-R1-Zero的性能，成为开源RLHF算法在推理任务上的新标杆。
2. 问题二：组内多样性不足。 当组内回答的奖励差异很小时（如全0或全1），GRPO的组归一化优势变得无信息，导致更新信号消失。这催生了RC-GRPO（Reward-Conditioned GRPO）——将探索视为一个可控的steering问题，通过离散奖励条件来引导探索，确保即使在奖励饱和区域也能保持有效的更新信号。
3. 问题三：探索效率与难度自适应。 GRPO在探索效率和难度自适应方面存在瓶颈，根源在于其隐式的优势对称性——模型对不同难度的样本给予相同的探索力度。这催生了GSPO（Group Sequence Policy Optimization）——修改GRPO框架，核心创新是将重要性比率从token级改为序列级，并执行序列级裁剪，逐步修正了这些问题，在多个推理基准上取得了更优的性能。
4. 问题四：理论基础待完善。 尽管已有U-统计量视角的理论分析，GRPO的优化动态仍只有部分被理解。这催生了一系列理论工作，试图从对比学习、divergence估计等角度统一理解GRPO。未来的研究需要更深入地揭示GRPO的收敛速率和样本复杂度，为超参数选择提供理论指导。
5. 问题五：推理效率与长度偏差。 GRPO训练出的模型倾向于生成更长的推理轨迹来获得更高奖励（因为更长的推理往往包含更多信息，但也增加了计算成本）。这催生了长度校准奖励（Length-Calibrated Reward） 等改进方案，在奖励计算中引入长度惩罚项，鼓励模型用更简洁的推理路径解决问题。
6. 问题六：探索边界受限。 GRPO的探索受限于基座模型的分布，无法发现全新的解决方案。这一理论边界暗示了GRPO与真正意义上的”创造性推理”之间还有距离。一个潜在的方向是将GRPO与外部知识检索或程序合成结合，让模型在探索过程中能够调用外部工具来突破自身的认知边界。