2.1 PPO（Proximal Policy Optimization）：信任域策略优化的经典范式

核心机制：PPO通过概率比裁剪构建信任域约束，限制策略更新幅度，避免训练崩溃。

$\mathcal{L}^{\text{CLIP}}(\theta) = \mathbb{E}_t \left[ \min\left( r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t \right) \right]$

其中：

• $r_t(\theta) = \pi_\theta(a_t|s_t) / \pi_{\theta_{\text{old}}}(a_t|s_t)$：新旧策略的概率比
• $\hat{A}_t$：通过GAE（Generalized Advantage Estimation） 计算的优势函数

关键设计：双模型架构（Actor + Critic），价值网络用于估计状态价值作为基线。工程上需同时维护4个大模型，资源消耗巨大。

2.2 GRPO（Group Relative Policy Optimization）：去Critic的轻量化方案

改进动机：Critic网络训练存在两大痛点——价值函数估计误差会传导至策略更新；大模型场景下Value Model容易过拟合。

核心机制：对同一prompt采样$G$个回答，用组内均值和标准差将奖励归一化为优势值：

$\hat{A}_{i,t} = \frac{R_i - \text{mean}(\{R_j\})}{\text{std}(\{R_j\})}$

关键特征：对每个token独立计算重要性采样比$r_{i,t}(\theta)$，这是GRPO与后续GSPO的关键分水岭。

$\mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E}_{q, \{o_i\}_{i=1}^G} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \min\left( r_{i,t}(\theta) \hat{A}_{i,t}, \text{clip}(r_{i,t}(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_{i,t} \right) \right] - \beta D_{KL}(\pi_\theta \| \pi_{\text{ref}})$

2.3 DPO（Direct Preference Optimization）：直接偏好优化的范式革命

核心洞察：传统的两阶段RLHF（奖励模型训练 + PPO策略优化）在数学上等价于一个可直接优化的单阶段目标。

损失函数：

$\mathcal{L}_{\text{DPO}}(\pi_\theta; \pi_{\text{ref}}) = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma\left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)} \right) \right]$

关键特性：单模型架构，无需训练独立的奖励模型和价值网络，将RLHF转化为二元分类问题。

2.4 DAPO（Decoupled Clip and Dynamic sAmpling Policy Optimization）：GRPO的推理增强版

四项核心改进：

1. Clip-Higher（解耦裁剪） ：将裁剪区间从对称的$[1-\epsilon, 1+\epsilon]$改为非对称的$[1-\epsilon_{\text{low}}, 1+\epsilon_{\text{high}}]$，$\epsilon_{\text{high}} > \epsilon_{\text{low}}$，给低概率”探索性”Token提供更大提升空间
2. Dynamic Sampling（动态采样） ：过滤组内奖励全部相同的无效组，确保每份计算资源都花在刀刃上
3. Token-Level Policy Gradient Loss：将损失聚合从”序列内平均→序列间平均”改为”所有Token直接平均”，让长序列中每个Token平等贡献梯度
4. Overlong Reward Shaping（过长奖励塑形） ：渐进式惩罚替代硬截断，在鼓励探索和控制长度之间找到平衡

性能表现：在AIME 2024上取得50分（对比DeepSeek-R1-Zero-Qwen-32B的47分），完整开源了代码、数据和配置。

2.5 GSPO（Group Sequence Policy Optimization）：序列级优化的稳定性突破

问题诊断：GRPO在Token级计算重要性采样比，但每个Token只被采样一次，无法有效进行分布校正——这是重要性采样理论的误用。

核心创新：将重要性比率定义在序列似然层面：

$s_i(\theta) = \left( \frac{\pi_\theta(y_i|x)}{\pi_{\theta_{\text{old}}}(y_i|x)} \right)^{\frac{1}{|y_i|}} = \exp\left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \log \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{\text{old}}}(y_{i,t} | x, y_{i,<t})} \right)$

关键突破：彻底解决了大规模MoE模型RL训练中的稳定性挑战，完全无需Routing Replay等复杂策略，已被HuggingFace TRL v0.20原生支持。

维度1：模型复杂度与显存占用（“重”与”轻”的本质）

深度分析：从PPO的4模型到DPO的2模型，这是数学层面的降维打击；从PPO的4模型到GRPO/GSPO的3模型，这是算法层面的简化。DPO虽轻，但牺牲了在线探索；GRPO系列用3模型保留了在线能力，是”性价比最优解”。

维度2：优势估计方法（“绝对价值” vs “相对排名”）

深度分析：PPO试图预测”未来”（价值函数），这是一种前向估计，天生存在误差和偏差。GRPO系列则彻底转向后向比较——既然未来难以预测，不如直接看当下这组结果在群体中的相对位置。这种”相对主义”哲学极大地简化了问题。

维度3：优化粒度（Token级 vs 序列级的根本分歧）

这是GRPO与GSPO最本质的差异：

深度分析：GRPO/DAPO坚守Token级优化，是希望做细粒度信用分配。但问题在于，当每个Token只被采样一次时，这种”细粒度”只是一种幻觉——它实际上引入了巨大的噪声。GSPO的序列级优化，本质上是承认了奖励信号在序列级别的稀疏性，用”粗粒度但高信噪比”的优化替代了”细粒度但低信噪比”的优化。

维度4：裁剪机制（稳定性的”刹车”设计）

深度分析：裁剪机制从PPO到DAPO的演进，反映了研究者对”探索”态度的变化——PPO保守（等距裁剪），DAPO激进（非对称，上界更大），而GSPO则因为粒度的改变，裁剪的含义完全变了：它不再抑制个别Token，而是抑制整个序列的梯度。

维度5：训练范式（在线 vs 离线，探索 vs 利用）

深度分析：DPO的离线特性是其最大的效率优势，也是最致命的局限——它无法生成训练中”未曾见过”的优秀回答。而在线算法可以在训练中持续进化，这是它们在复杂推理任务中表现卓越的根本原因。

维度6：对偏好数据/奖励模型的依赖程度

维度7：序列长度处理（长CoT场景的适应性）

维度8：MoE架构兼容性

深度分析：这是GSPO在MoE时代最具战略价值的优势。随着MoE成为千亿参数模型的主流架构（如Qwen3、Grok），GRPO的”专家震荡”问题成了致命伤。GSPO仅通过将优化粒度从Token提升到序列，就彻底规避了这个问题——这是算法设计层面的四两拨千斤。

维度9：超参数敏感度与调优难度

维度10：可复现性与开源生态

维度11：可扩展性（Scaling Law的延续性）

维度12：核心弱点与待解问题

第一层：范式的分野（PPO → DPO）

• 动机：PPO太重了，能不能不做强化学习？
• 方案：DPO用数学推导证明——可以！只要你有成对偏好数据。
• 代价：失去了在线探索能力。
• 结论：DPO是”偏科生”，在探索性任务上不如PPO，但在资源受限时是”最优解”。

第二层：在线算法的轻量化（PPO → GRPO）

• 动机：如果要保留在线探索，能不能去掉最贵的价值网络？
• 方案：GRPO用”组内相对排名”替代”价值预测”。
• 代价：引入了Token级重要性采样的高方差，且容易熵崩塌。
• 结论：GRPO是”阉割版”的在线算法，理念先进但工程上”不够皮实”。

第三层：对GRPO的两路修复（GRPO → DAPO 与 GRPO → GSPO）

这一层是分岔演进，代表了两种不同的解决问题哲学：

• DAPO路线（工程修补派） ：承认GRPO的框架，通过动态采样、Clip-Higher、Token-Level Loss、Overlong Shaping四项工程优化，把GRPO的短板逐个补齐。这是一场”外科手术式”的精细修补。

• GSPO路线（算法重构派） ：认为GRPO的根本问题在于Token级优化与序列级奖励在本质上不匹配。于是，GSPO将重要性比率从Token级提升到序列级，用几何平均消减方差，从根本上消除了不稳定性。这是一次”基因编辑式”的底层重构。

两条路线各有千秋：DAPO修补后性能亮眼（AIME 50分），且对密集模型友好；GSPO则从根本上驯服了MoE的不稳定性，为千亿稀疏模型铺平了道路。