一文搞懂sarsa和Q-Learning的区别

已于 2023-01-03 14:19:37 修改
阅读量1.1k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： AI深度学习 文章标签： pytorch ai 深度学习 RL
于 2023-01-03 09:54:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/perfect2011/article/details/128468668
本文详细介绍了SARSA和Q-Learning两种强化学习算法，通过概念解析、公式展示以及直观的类比说明它们的区别。Q-Learning侧重选择最大奖励，而SARSA更注重实际执行的动作。同时，文中还提及了SARSA算法的代码实现，帮助读者深入理解算法原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

        好久没写这个系列了，主要是最近在忙其他事情，也在看一些其他的闲书，也是荒废了，有点可惜，后面还是得慢慢更新。

1、sarsa是个什么

强化学习的基础算法QLearning 上次写了下，写了一些伪代码，希望可以看的懂，这篇文章继续写一下sarsa，也是基础算法，所以即使不懂也无所谓，别太难为自己。

SARSA(State-Action-Reward-State-Action)是一种基于强化学习的算法，与Q-Learning一样，都是在智体的行为过程中迭代式地学习，但SARSA采用了和Q-Learning不同的迭代策略。

0基础入门强化学习，非程序也能看得懂|Qlearning_香菜+的博客-CSDN博客

1.1 简单说下几个概念

A：行动，也就是行为，比如棋盘中的一次落子

R：奖励，也就是对整个游戏的进程是否有利，有利则为正，不利则为负

S：状态，表示当前当

了解本专栏 订阅专栏 解锁全文
机器学习 | 通俗理解Q-Learning、Sarsa和Sarsa(λ)
知识库搭建ing
04-15 876
Q-Learning是乐观的探险家，总想着一步登天；Sarsa是谨慎的行者，步步为营；Sarsa(λ)是聪明的学者，会从过去的每一步中学习，离成功越近的步子影响越大。
时间差分方法Q-learning和sarsa的区别
qq_27514521的博客
07-21 2929
Q-learning和sarsa都是利用时间差分目标来更新当前行为值函数的。唯一不同的是在Q-learning中,行动策略(产生数据的策略)和要评估的策略不是一个策略，因此称之为异策略(off-policy),而在sarsa中，正好相反，也就是行动策略(产生数据的策略)和要评估的策略是一个策略，称之为同策略(on-policy)。下面从算法的角度解释其中的区别。 如上图所示，为sarsa的算...
SARSA与Q-learning的区别
ZONGXP的博客
09-13 1万+
莫烦强化学习视频 https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/
sarsa算法和qlearning算法的不同之处的详细深入探讨(集百家所论)
chen的博客
10-11 2545
SARSA（State-Action-Reward-State-Action）算法和Q-learning（Quality-learning）算法都是强化学习中的常见算法，用于训练智能代理在环境中学习并制定最佳策略。它们有一些关键的不同之处：总之，SARSA和Q-learning都是强化学习中有用的算法，但它们在更新时刻、策略选择、收敛性和稳定性等方面存在不同。选择使用哪个算法通常取决于具体的问题和需求。
Q-learning与Sarsa算法的区别
热门推荐
qq_39004117的博客
08-15 1万+
接触reinforcement learning有一个月的时间了，现在回来回顾当时写的Q-learning和Sarsa算法，有了更多的感触。 对于Q-learning算法和Sarsa算法的具体流程，原文已经讲解的很详细，附上参考博客地址: https://blog.csdn.net/u010223750/article/details/78955807 本文就记录一下Q-learning和S...
Qlearning和Sarsa的区别
tandembike的博客
07-02 852
强化学习
一文搞懂策略梯度（Policy gradient）算法（一）
qq_41262334的博客
04-16 1万+
在强化学习的过程中，从 Sarsa 到 Q-learning 再到 DQN，本质上都是值函数近似算法。值函数近似算法都是先学习动作价值函数，然后根据估计的动作价值函数选择动作。例如，DQN的神经网络结构可以表示为如下图所示：图中，输入是状态s，输出是每个动作的Q值，即对每个动作的评分，分数越高意味着动作越好。通过对值函数的近似，我们可以知道回报最大的路径，从而指导智能体进行动作的选取。但是，。那么有没有一种可能，我们可以跳过动作价值的评估环节，直接从输入状态，到输出策略呢？
原创 ｜一文读懂无模型的控制-TD与SARSA（强化学习四）
最新发布
数据派THU
02-24 1029
作者：黄娘球 本文约2500字，建议阅读5分钟 本文将继续无模型控制的讨论，重点聚焦于时间差分控制（TD Control）和SARSA算法的详细解析。在《原创 | 一文读懂强化学习在动态规划领域的应用》中，我们系统地回顾了强化学习的基础概念，并深入探讨了预测与控制（即求解已知的MDP）的核心方法。紧接着，在《原创 | 一文读懂无模型的预测（强化学习二）》中，我们详细阐述了无模型预测（Model-f...
【机器学习】Reinforcement Learning-强化学习学习笔记
长相忆兮长相忆的专栏
01-28 4197
强化学习（Reinforcement Learning, RL），又称增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。...
强化学习中Sarsa与Q-learning的区别
yf_programmer的博客
10-08 6344
最近在学习强化学习，Sarsa和Q-learning作为强化学习中较为经典的的方法，两者之间有一定的相似之处，但又有较大的区别，能够很好的区分两种方法对区分on-policy和off-policy，以及之后对强化学习的进一步学习都很有帮助。 先介绍Sarsa和Q-learning共用的探索策略，再说明Sarsa和Q-learning的区别，最后拓展到on-policy和off-policy的区别。 ε-greedy Sarsa和Q-learning在探索时都是用到了ε-greedy的策略。在训练过程中我们既
强化学习——Qlearning和Sarsa的区别
Abo_luo的博客
08-28 1977
强化学习——Qlearning和Sarsa的区别前言Qlearning算法简单示例Sarsa算法简单示例总结 主要是讲述一下自己学习Qlearning和Sarsa的感悟 前言 自从北京学习回到成都，一个暑假虽然”书本上“的知识没有学到什么，但是确实让身为本科生的自己眼界开阔了很多，也更加的明确了自己的目标。强化学习这一个领域之前也是仅仅知识了解大概的算法流程，知其然，不知其所以然。直到现在我也觉得其和遗传学习很相似，难道他们之间是包含与被包含的关系？（需要再继续学习才能去了解了） 本篇口水话主要是讲述一
SARSA 和 Q-Learning 的详细对比-ChatGPT4o作答
qq_46215223的博客
01-09 533
Q-Learning假设智能体始终选择当前状态下的最优动作（即 ( \max_a Q(s’, a) )），因此更新过程独立于实际执行的策略。这种方式在确定性环境中能够快速学到最优策略，但可能会因为高风险动作而收敛到不稳定的策略。SARSA遵循智能体的实际执行路径，更新值函数基于智能体在当前策略 ( \pi ) 下执行动作 ( a’ ) 的结果。这种方式能够在动态环境中学到更加稳健的策略，适合需要权衡风险的任务。，它们都旨在学习状态-动作值函数 ( Q(s, a) ) 来优化策略。
Q-learning和Sarsa的区别
weixin_30518397的博客
08-14 302
Q-learning和Sarsa的区别 Q-learning是off-policy，而Sarsa是on-policy学习。 Q-learning在更新Q table时，它只会需要Q值最大，但是不一定会选择使这个Q值最大的动作，因为选择哪个动作是由其他的策略决定的，...
Q-learning和Sarsa
wulin的博客
08-26 208
Q-Learning的目的是学习特定state下，特定action的价值。是建立一个Q-table，以state为行、action为列，通过每个动作带来的奖赏更新Q-table。是异策略，行动策略和评估策略不是一个策略。
Sarsa算法和Q-learning算法
PiggyRuns的博客
06-02 3334
强化学习Sarsa和Q-learning算法，详细流程以及代码实现
Sarsa和q-learning的区别
Louie_worth的博客
03-11 438
今天看到一道强化学习面试题目，才知道即使自己学了这么多理论，但是肯定是学的倒懂不懂的状态，记录以下。 文章目录伪代码介绍主要区别区别详解图解 伪代码介绍 Q-learning: off policy Sarsa: on policy 主要区别 Q-learning: off policy, Sarsa: on policy 其实主要区别是他们两个更新Q_table的方式： Q-Learning: Q(St,At)←Q(St,At)+α[Rt+1+γmax⁡aQ(St+1,a)−Q(St,At)] .
SARSA和Q Learning的区别理解
weixin_40019546的博客
09-26 930
saras是on-policy学习，q-learning是off-policy学习。sarsa的学习比较保守稳健，每一个episode和每个episode的每个step都会执行episilon-greedy探索；q-learning则倾向于利用经验的累积，学习到最优策略。在悬崖行走曲线上，q-learning方法是optimal的，但会有风险，sarsa方法是安全的，但学习的episode曲线也被拉长了。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

香菜+

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值