DeepSeek核心强化学习算法：GRPO介绍

最新推荐文章于 2025-05-10 12:30:00 发布
最新推荐文章于 2025-05-10 12:30:00 发布
阅读量1.5k 收藏 14
点赞数 9
CC 4.0 BY-SA版权
分类专栏： 人工智能 文章标签： GRPO Deekseep 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45066628/article/details/146198921

GRPO核心强化学习算法

GRPO介绍

GRPO 是一种在线学习算法，这意味着它通过使用训练模型本身在训练期间生成的数据进行迭代改进。GRPO 目标背后的直觉是最大限度地利用生成的完成，同时确保模型始终接近参考策略。

GRPO 的发明者是 DeepSeek，最早是被用于微调 DeepSeek 的 R1 和 R1-Zero 模型 —— 它们可通过学习生成思维链（CoT）来更好地解决数学和逻辑问题。
在这里插入图片描述

原理

https://github.com/huggingface/trl/blob/main/docs/source/grpo_trainer.md
要了解 GRPO 的工作原理，可以分为四个主要步骤：生成补全、计算优势、估计 KL 散度和计算损失。

  1. 生成补全（Generating completions）
    在每一个训练步骤中，我们从提示（prompts）中采样一个批次（batch），并为每个提示生成一组 G个补全(completions)(记为oᵢ)。

  2. 计算优势（Computing the advantage）
    对于每一个G序列，使用奖励模型（reward model）计算其奖励（reward）。为了与奖励模型的比较性质保持一致（通常在同一问题的输出比较数据集上进行训练），计算优势以反映这些相对比较。其归一化公式如下：
    在这里插入图片描述

    这种方法为该方法命名：组(群体)相关策略优化 (GRPO)。

    群相对策略优化（GRPO）是一种强化学习（RL）算法，专门用于增强大型语言模型（LLM）的推理能力。与传统的RL方法不同，RL方法严重依赖外部评估者（批评者）来指导学习，GRPO通过相互评估响应组来优化模型。这种方法可以实现更有效的培训，使GRPO成为需要复杂解决问题和长思维链的推理任务的理想选择。

  3. 估计KL散度（Estimating the KL divergence）
    KL 散度是使用 Schulman et al. (2020)引入的近似器估计的。近似器定义如下

最低0.47元/天 解锁文章
详解 DeepSeek-R1 核心强化学习算法：GRPO (Group Relative Policy Optimization)
AI天才研究院
02-07 3868
GRPO算法在计算效率、内存占用、训练速度、鲁棒性和训练稳定性方面具有显著优势，特别适用于大规模语言模型和规则化奖励任务。然而，它在组大小敏感性、长尾分布问题、生成样本时的计算负担以及对稀疏奖励任务的处理能力方面存在一定的劣势。GRPO算法通过无评论模型优化、相对评估和组内样本的相对优势计算，有效解决了传统RL方法在处理复杂问题和长链思维的推理任务时面临的计算成本高、可扩展性问题、模型训练不稳定和资源消耗大的挑战。
（24-2）DeepSeek中的强化学习：GRPO算法
码农三叔
03-02 347
Group Relative Policy Optimization (GRPO) 是一种强化学习算法，用于优化大型语言模型（LLMs）的推理能力。1.核心原理相对评估：GRPO 通过比较同一组内的不同响应来评估每个响应的相对优势，而不是依赖外部的评价器（如价值网络）。这种方法减少了对单独价值网络的依赖，从而降低了计算开销。组内比较：对于每个输入查询，模型生成一组潜在响应。这些响应在组内进行比较，以确定每个响应相对于组内其他响应的优劣。2.算法优势。
Deepseek-强化学习算法（通俗易懂版）
qq_56734304的博客
02-23 1633
首先先贴一张Deepseek核心技术的梳理图：上图详细了讲述了Deepseek主要在哪些阶段用了强化学习方法（GRPO）
PPO→GRPO→DAPO，强化学习一篇通关！
最新发布
weixin_51702416的博客
05-10 1013
强化学习基于奖励最大化假设，所有的算法都是建立在得到一个最大的期望奖励的基础上。首先来明晰两个概念：On-Policy：训练数据由需要训练的策略本身通过与环境的互动产生，用自己产生的数据来进行训练（可以理解为需要实时互动）Off-Policy：训练数据预先收集好（人工或者其它策略产生），策略直接通过这些数据进行学习。PPO，GRPO，DAPO 都是 On-Policy 的策略。这些 On-Policy 的策略一般由四个关键组件组成训练的 pipeline：Actor：产生动作的策略。
详解DeepSeek-R1核心强化学习算法：GRPO
m0_59164520的博客
02-04 3963
在目前大语言模型中进行微调的流程中，一般在监督微调（Supervised Fine-Tuning, SFT）阶段之后，进一步通过强化学习对模型进行优化可以显著提升其性能。而Group Relative Policy Optimization (GRPO)，就是使用在该阶段，替换传统的PPO算法。Proximal Policy Optimization (PPO) 是一种广泛使用的强化学习算法，尤其适用于对 LLMs 进行微调。
4000字！DeepSeek-R1 核心强化学习算法 GRPO 详解，收藏这一篇就够了！！
2401_85325557的博客
02-17 6447
在大语言模型（LLMs）的训练中，强化学习算法一直是提升模型性能的关键。然而，传统算法如PPO面临着计算开销大、策略更新不稳定等问题。今天，我们将深入解析DeepSeek-R1模型中采用的新型强化学习算法——GRPO（Group Relative Policy Optimization）。本文将为你详细解读GRPO的原理、实现细节以及在数学推理和代码生成任务中的卓越表现，带你一探究竟，了解这一算法如何革新大语言模型的训练方式！
GRPO强化学习尝试-训练自己的R1推理模型
02-11 985
DeepSeek-R1以其低成本优势（训练成本只有国外模型的1/5，推理成本在优惠期间是01的1/27）在春节期间🔥遍全球，是否你也想使用自己的数据去训练一个R1模型呢？下面给出了这个训练的过程。说明3: 说明通过强化学习，模型不仅能根据Answer（正确奖励）自行完成推理推理，而且还能按格式（格式奖励）输出推理过程和答案。说明2: 在62轮之后，推理过程被格式化了，推理过程出现在标记中，答案出现在标记中。说明1：在62轮之前的推理输出，推理过程是没有格式化的。
4000字！DeepSeek-R1 核心强化学习算法 GRPO 详解
m0_59163425的博客
02-07 1万+
在大语言模型（LLM）的微调过程中，强化学习（RL）扮演着至关重要的角色。传统的近端策略优化（PPO）算法虽然被广泛应用于LLM的微调，但其在处理大规模模型时面临着巨大的计算和存储负担。PPO算法需要维护一个与策略模型大小相当的价值网络来估计优势函数，这在大模型场景下会导致显著的内存占用和计算代价。例如，在数十亿甚至千亿参数的语言模型上应用PPO时，价值网络的训练和更新会消耗大量的计算资源，使得训练过程变得低效且难以扩展。此外，PPO算法在更新策略时可能会导致策略分布发生剧烈变化，从而影响训练的稳定性。
DeepSeek-R1 核心强化学习算法：GRPO 技术详解
zhangjiaofa的专栏
02-08 624
强化学习是一种机器学习范式，智能体通过与环境进行交互，根据环境反馈的奖励信号来学习最优行为策略。智能体（Agent）：能够感知环境并采取行动的实体。环境（Environment）：智能体所处的外部世界，智能体的行动会影响环境状态，环境也会反馈给智能体相应的奖励和新状态。状态（State）：描述环境当前状况的信息集合。行动（Action）：智能体在某个状态下可以采取的决策。奖励（Reward）：环境根据智能体的行动给予的反馈信号，用于衡量行动的好坏。
【DeepSeek 从入门到精通】DeepSeek 实现核心原理之： GRPO 算法
AI天才研究院
02-10 1897
在大语言模型(LLM)的强化学习微调阶段，Group Relative Policy Optimization (GRPO)算法作为一种创新方法崭露头角。GRPO是一种在线学习算法，其核心思想是通过评估一组响应之间的相对关系来优化模型，而不是依赖外部评估者。这种方法显著提高了训练效率，特别适用于需要复杂问题解决和长链思维的推理任务。
解读DeepSeekMath中的RL策略！GRPO：改进PPO增强推理能力
AIBigModel的博客
01-19 1万+
作者：Plunck原文：https://zhuanlan.zhihu.com/p/15677409107最近非常火爆，阅读技术报告之后感觉干货满满。这一代模型是DeepSeek之前多种技术的集大成者，包括DeepSeekv2[Arxiv]中使用过的注意力的改进。
DeepSeek-R1-GRPO理解
yaohaishen的专栏
01-21 1万+
例如数学问题求解、代码生成、逻辑推理等。
强化学习演进：GRPO 从何而来
不负热爱
02-26 1380
强化学习（Reinforcement Learning, RL）是机器学习的一个分支，其核心是让智能体（Agent）通过与环境（Environment）的交互，学习如何采取最优行动（Action）以最大化长期累积奖励（Reward）。
【DeepSeek】一文详解GRPO算法——为什么能减少大模型训练资源？
热门推荐
qq_38961840的博客
01-28 3万+
GRPO，一种新的强化学习方法，是DeepSeek R1使用到的训练方法。今天的这篇博客文章，笔者会从零开始，层层递进地为各位介绍一种在强化学习中极具实用价值的技术——**GRPO（Group Relative Policy Optimization）**。如果你是第一次听说这个概念，也不必慌张，笔者会带领你从最基础的强化学习背景知识讲起，一步步剖析其来龙去脉，然后再结合实例讲解 GRPO 在实际应用中的思路和操作示例，最后再和其他近似方法对比，看看它和当下主流的 PPO（近端策略优化）等方法究竟有何区
GRPO本质上就是REINFORCE的特例（对上了！这下都对上了）
SINGULARITY
01-30 495
大道至简！没想到我们求索多年的问题，Ron 早在几十年前就已经为我们写好了答案
一文通透GRPO——通俗理解群体相对策略优化GRPO及其代码实现：去掉价值估计，不用像PPO中复杂的GAE计算
结构之法 算法之道
03-12 1万+
本文的标题 最开始是《七月论文审稿GPT第3.2版和第3.5版：通过paper-review数据集分别微调Mistral、gemma》后于25年1.31日，直接改成了新的内容，标题也就变成了本文的《一文速览DeepSeekMath及GRPO：通俗理解群体相对策略优化GRPO及其代码实现(含DeepSeek-Coder的简介)》至于为何改成如今这样，在这篇文章《一文速览DeepSeekMoE：从Mixtral 8x7B到DeepSeekMoE(含DeepSeek LLM的简介)》的开头有说原因。
实战LLM强化学习——使用GRPO（DeepSeek R1出圈算法）
qq_38961840的博客
01-29 6774
使用Unsloth库、LoRa微调及GRPO Trainer自定义奖励函数实现大模型的强化学习微调，实战案例。
DeepSeek 核心技术 GRPO 详解
civiljiao的博客
03-16 1299
GRPO（Group Relative Policy Optimization）是 DeepSeink 团队提出的创新型强化学习算法，专为解决大语言模型（LLM）在推理任务中的训练效率与稳定性问题而设计。相较于传统 PPO 算法，GRPO 通过组内相对评估机制替代独立价值模型（Critic），显存占用减少 50%，训练速度提升 30%，同时在数学推理、代码生成等任务中实现性能突破（如 MATH 基准准确率 51.7）。GRPO 通过组内相对评估与动态基线机制，实现了大模型强化学习训练的效率革命。
DeepSeek-R1 核心强化学习算法 GRPO 详解
star_nwe的博客
02-08 3276
在大语言模型（LLM）的微调过程中，强化学习（RL）扮演着至关重要的角色。传统的近端策略优化（PPO）算法虽然被广泛应用于LLM的微调，但其在处理大规模模型时面临着巨大的计算和存储负担。PPO算法需要维护一个与策略模型大小相当的价值网络来估计优势函数，这在大模型场景下会导致显著的内存占用和计算代价。例如，在数十亿甚至千亿参数的语言模型上应用PPO时，价值网络的训练和更新会消耗大量的计算资源，使得训练过程变得低效且难以扩展。此外，PPO算法在更新策略时可能会导致策略分布发生剧烈变化，从而影响训练的稳定性。
grpo
03-08
### GRPO的概念及其工作原理 GRPO（Generate Rank Pick Optimize）是一种用于优化生成模型的方法，在实际操作中，会在一个batch中包含若干个问题$q$，对每个问题生成$GRPO$个答案。这意味着batch大小等于$B$，每次前向推理要生成$B * GRPO$条候选答案[^1]。 对于每一个生成的候选答案，都会通过奖励模型$\mathrm{RM}$来获取评分$r_i$。这种方法虽然增加了推理过程中的计算成本，特别是当$GRPO$较大时，但是它消除了对价值网络的需求，从而简化了整体架构并提高了效率[^2]。 基于这些相对优势，GRPO机制能够动态调整策略模型参数，使高质量的回答更可能被选中，而低质量的回答则受到抑制。这不仅节省了计算资源，还提升了系统的推理能力和响应的质量[^3]。 ```python def grpo_inference(batch_size, num_candidates_per_question): candidates = [] for _ in range(batch_size): # 对于批次中的每个问题生成多个候选答案 generated_answers = generate_multiple_answers(num_candidates_per_question) scores = reward_model.score(generated_answers) # 获取每个候选的答案得分 best_answer_index = max(range(len(scores)), key=lambda i: scores[i]) selected_candidate = generated_answers[best_answer_index] candidates.append(selected_candidate) return candidates ``` #### 相关问题§§ 1. 如何衡量GRPO方法的有效性和性能？ 2. 在不同应用场景下，如何设置合适的批处理大小和每问生成候选项数量？ 3. 奖励模型的设计原则是什么样的？ 4. 是否存在其他替代方案可以减少计算开销而不影响最终效果？ 5. GRPO技术能否应用于除自然语言处理之外的任务？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

kuokay

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值