深度强化学习 | 基于SAC算法的移动机器人路径跟踪(附Pytorch实现)

最新推荐文章于 2025-07-20 10:21:27 发布
最新推荐文章于 2025-07-20 10:21:27 发布
阅读量3.1k 收藏 74
点赞数 85
CC 4.0 BY-SA版权
分类专栏： 运动规划实战进阶：深度强化学习篇 文章标签： pytorch 人工智能 机器人 ROS 自动驾驶 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FRIGIDWINTER/article/details/147952007

目录

0 专栏介绍

本专栏以贝尔曼最优方程等数学原理为根基，结合PyTorch框架逐层拆解DRL的核心算法(如DQN、PPO、SAC)逻辑。针对机器人运动规划场景，深入探讨如何将DRL与路径规划、动态避障等任务结合，包含仿真环境搭建、状态空间设计、奖励函数工程化调优等技术细节，旨在帮助读者掌握深度强化学习技术在机器人运动规划中的实战应用

🚀详情：《运动规划实战精讲：深度强化学习篇》

1 软性演员-评论家SAC算法

软性演员-评论家(Soft Actor-Critic, SAC)算法是基于最大熵原理的离线策略方法，具有高效的采样效率和泛化能力。SAC的核心原理在于三个参数化公式：

  • 参数化动作-价值函数
    J ( w ) = 1 2 E [ ( Q ( s , a ; w ) − ( r s → s ′ + γ max ⁡ a ′ ( Q ^ ( s ′ , a ′ ; w ^ ) − α log ⁡ π ( s ′ , a ′ ; θ ) ) ) ) ] J\lef

了解本专栏 订阅专栏 解锁全文
深度强化学习实战：基于SAC算法的智能机器人轨迹追踪
Loving_enjoy的博客
05-20 121
本文将带您实现一个基于SAC（Soft Actor-Critic）算法的智能轨迹追踪系统，让机器人学会像专业舞者一样优雅地跟随任意路径。正如OpenAI的科学家所言："强化学习系统就像需要教导的孩子，既要给予足够的自由探索，又要设置必要的安全边界。**完整代码仓库**：https://github.com/robot-learning-lab/sac-path-tracking。mu = torch.tanh(self.mu_layer(x)) # 输出范围[-1,1]
torchrl：强化学习算法的Pytorch实现（软演员评论员（SAC）DDPG TD3 DQN A2C PPO TRPO）
02-01
火炬RL RL方法的Pytorch实现 支持具有连续和离散动作空间的环境。 支持具有1d和3d观察空间的环境。 支持多进程环境 要求 一般要求 火炬1.7 健身房（0.10.9） Mujoco（1.50.1） 列表（用于日志） tensorboardX（日志文件输出） 张量板要求 Tensorflow：启动tensorboard或读取tf记录中的日志 安装 使用use environment.yml创建虚拟环境 conda create -f environment.yml source activate py_off 手动安装所有要求 用法 在配置文件中指定算法的参数，并在参数中指定日志目录/种子/设备 python examples/ppo_continuous_vec.py --config config/ppo_halfcheetah.json --seed 0 --device 0 --id ppo_halfcheetah 结帐示例文件夹以获取详细信息 目前包含： 政策上的方法： 加强 A2C（演员评论家） PPO（近端政策优化）
深度强化学习DDPG实现路径跟踪（局部规划器）方法讲解与PyTorch代码实现
Omigeq的博客
05-24 6195
DDPG是一种Actor-Critic方法，它有一个策略网络（演员），一个价值网络（评委）。策略网络（Actor）控制智能体做运动，它基于状态sss做出动作aaa，记为μs\mu(s)μs，输入连续的状态空间，输出每一个动作的确定值。价值网络（Critic）不控制智能体，只是基于状态sss给动作aaa打分，记为qsaq(s,a)qsa，输入连续的状态+动作，输出评分，从而指导策略网络做出改进。在PyTorch代码实现中，我们可以用简单的。
SAC代码 pytorch框架，2023年了还在用假的SAC？
fangchenglia的博客
02-16 7237
SAC代码 pytorch框架
SAC原理与代码实例讲解
AI天才研究院
07-03 961
SAC原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM SAC原理与代码实例讲解 1. 背景介绍
【深度强化学习】(7) SAC 模型解析，附Pytorch完整代码
博观而约取，厚积而薄发
03-15 3万+
Deepmind 提出的 SAC (Soft Actor Critic) 算法是一种基于最大熵的无模型的深度强化学习算法，适合于真实世界的机器人学习技能。SAC 算法的效率非常高，它解决了离散动作空间和连续性动作空间的强化学习问题。SAC 算法在以最大化未来累积奖励的基础上引入了最大熵的概念，加入熵的目的是增强鲁棒性和智能体的探索能力。SAC 算法的目的是使未来累积奖励值和熵最大化，使得策略尽可能随机，即每个动作输出的概率尽可能的分散，而不是集中在一个动作上。
2.深度强化学习------SAC(Soft Actor-Critic)算法资料+原理整理
热门推荐
木易进
03-19 4万+
SAC是深度强化学习中对于连续动作控制的又一经典。近期简单的看了一下SAC算法的思想，目前尚未深入研究，先把当前的资料整理一波，便于进一步学习。后续再作进一步更新 1. SAC原理介绍 可重点看前三篇 SAC原理讲解BLOG①：这篇blog非常详细的讲解了SAC的实现过程，包括理论推导过程，看懂这篇blog基本就差不多明白SAC了。 SAC原理讲解BLOG②：这篇blog对于SAC的算法思...
pySACQ:SAC-Q强化学习算法的PyTorch实施（在OpenAI Gym环境中测试）
05-22
**不再维护，由您自担风险** PySACX 此仓库包含SAC-X RL算法[1]的Pytorch实现。 它使用来自OpenAI健身房的Lunar Lander v2环境。 SAC-X算法可以在存在多个稀疏奖励信号的情况下从头开始学习复杂的行为。 理论 除了主要任务奖励外，我们还定义了一系列辅助奖励。 一个重要的假设是，可以在任何状态动作对中评估每个辅助奖励。 奖励定义如下： 辅助任务/奖励 触碰。 最大化接触地面的腿数 悬停平面。 最小化着陆器的平面运动 悬停角度。 最小化着陆器的旋转运动 直立。 最小化着陆器的角度 射门距离。 最小化着陆器和护垫之间的距离 主要任务/奖励 着陆器是否成功着陆（基于着陆成功的稀疏奖励） 每个任务（本文中的意图）在神经网络中都有一个特定的模型头，用于估计参与者和评论者的功能。 在训练过程中执行轨迹时，任务（以及演员内部的模型负责人）将在不同的可用选项
pytorch_sac:软演员关键（SAC）的PyTorch实施
05-06
PyTorch中的Soft Actor-Critic（SAC）实施 这是Soft Actor-Critic（SAC） PyTorch实现。 如果您在研究项目中使用此代码，请引用我们为： @misc{pytorch_sac, author = {Yarats, Denis and Kostrikov, Ilya}, title = {Soft Actor-Critic (SAC) implementation in PyTorch}, year = {2020}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {\url{https://github.com/denisyarats/pytorch_sac}}, } 要求 我们假设您有权访问可以运行CUDA 9.2的GPU。
PyTorch实现软演员- 评论家（SAC），双胞胎延迟DDPG（TD3），演员评论家（AC / A2C），近端策略优化（PPO
05-10
PyTorch实现软演员- 评论家（SAC），双胞胎延迟DDPG（TD3），演员评论家（AC / A2C），近端策略优化（PPO），QT-Opt，PointNet 流行的无模型强化学习算法 PyTorch 和 Tensorflow 2.0 在 Openai 健身房环境和自我实现的 Reacher 环境中实现了最先进的无模型强化学习算法。 算法包括： 演员兼评论家 （AC/A2C）; 软演员-评论家 （SAC）; 深度确定性策略梯度 （DDPG）; 双延迟 DDPG （TD3）; 近端策略优化; QT-Opt（包括交叉熵（CE）方法）; 点网; 运输机; 经常性政策梯度; 软决策树; 概率专家混合; QMIX Actor-Critic (AC/A2C); Soft Actor-Critic (SAC); Deep Deterministic Policy Gradient (DDPG); Twin Delayed DDPG (TD3); Proximal Policy Optimization (PPO); QT-Opt (including Cross-entropy (CE)
强化学习算法：此存储库包含大多数基于pytorch实现的经典深度强化学习算法，包括-DQN，DDQN，Dualling Network，DDPG，SAC，A2C，PPO，TRPO。 （更多算法仍在进行中）
01-30
深度强化学习算法 该存储库将使用PyTorch实现经典的深度强化学习算法。 该存储库的目的是为人们提供清晰的代码，以供他们学习深度强化学习算法。 将来，将添加更多算法，并且还将保留现有代码。 当前实施 深度Q学习网络（DQN） 基本DQN 双Q网络 决斗网络架构 深度确定性策略梯度（DDPG） 优势演员评判（A2C） 信任区域策略梯度（TRPO） 近端政策优化（PPO） 使用克罗内克因素信任区域（ACKTR）的演员评论家 软演员评论（SAC） 更新信息 :triangular_flag: 2018年10月17日-在此更新中，大多数算法已得到改进，并添加了更多关于图的实验（DPPG除外）。 PPO现在支持atari游戏和mujoco-env 。 TRPO非常稳定，可以得到更好的结果！ :triangular_flag: 2019-07-15-在此更新中，不再需要为openai基准安装。 我在rl__utils模块中集成了有用的功能。 DDPG也重新实现，并支持更多结果。 自述文件已被修改。 代码结构也有微小的调整。 :triangular_flag: 201
谷歌和UC伯克利联合发布机器人深度RL算法SAC，机器人2小时学会行走
cpongo5
01-21 794
深度强化学习（RL）使得直接从现实世界中获得的经验和交互中实现机器人行为完全自主学习成为可能，因为它能够使用通用神经网络表示来处理复杂的感知输入。然而，许多现有的RL算法需要数天或数周（或更多）的真实数据才能收敛到期望的行为。此外，这样的系统可能难以在复杂的机器人系统（例如腿式机器人）上部署，因为它们在探索阶段很容易被损坏，超参数设置可能难以调整，而且各种安全方面的考虑也可能会引起诸多限制。我们最...
强化学习经典算法笔记(十七)：A3C算法的PyTorch实现
hhy_csdn的博客
07-11 1万+
强化学习经典算法笔记(十七)：A3C算法的PyTorch实现 发现前面没有介绍Asynchronous Advantage Actor-Critic，A3C算法的文章，在这里补上这一篇。 A3C算法简介 A3C算法是非常有名且经典的Policy Gradient算法，是A2C算法的并行版本。使用多线程运行多个actor，分别与若干个环境进行交互，收集经验，更新参数，并将更新的参数梯度汇合到主线程的Agent上去。 A3C最初版本是多线程CPU的，后来又出了GPU版本。这里实现的是多线程CPU版。GPU版本的
cart算法 java实现_这个开源项目用Pytorch实现了17种强化学习算法
weixin_31502485的博客
02-15 447
强化学习在过去的十年里取得了巨大的发展，如今已然是各大领域热捧的技术之一，今天，猿妹和大家推荐一个有关强化学习的开源项目。这个开源项目是通过PyTorch实现了17种深度强化学习算法的教程和代码库，帮助大家在实践中理解深度RL算法。完整的17个算法实现如下：Deep Q Learning (DQN) (Mnih et al. 2013)DQN with Fixed Q Targets (Mnih ...
视频 | DeepMind出了学习模式「SAC-X」，可以让机器人探索自我
深度学习世界
04-16 407
AI 科技评论按：这里是，雷锋字幕组编译的 Two minutes paper 专栏，每周带大家用碎片时间阅览前沿技术，了解 AI 领域的最新研究成果。原标题：DeepMind's AI Learns Complex Behaviors From Scratch | Two Minute Papers #239翻译 | 徐速  廖颖    字幕 | 凡江    整理 | 李逸帆  吴璇本期论文：L
sac算法解析
weixin_42197488的博客
08-01 2138
================= Soft Actor-Critic … contents:: Table of Contents Background (Previously: Background for TD3_) … _Background for TD3: …/algorithms/td3.html#background Soft Actor Critic (SAC) is an algorithm that optimizes a stochastic policy in an off-pol
使用UV管理PyTorch项目
最新发布
mx9818的博客
07-20 959
PyTorch安装与加速器配置指南 PyTorch安装需要特殊处理，因其wheel托管在专属索引上，且针对不同加速器（CPU/CUDA/ROCM）有不同构建版本。可通过uv工具管理项目配置。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr.Winter`

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值