[DL輪読会]Learning Latent Dynamics for Planning from Pixels
Download as PPTX, PDF16 likes4,353 views
2018/12/21 Deep Learning JP: http://deeplearning.jp/seminar-2/
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Learning Latent Dynamics for Planning from Pixels
ShoheiTaniguchi, Matsuo Lab](https://image.slidesharecdn.com/taniguchi20181221-190104064850/85/DL-Learning-Latent-Dynamics-for-Planning-from-Pixels-1-320.jpg){kind=tracking}
![状態表現学習
• 強化学習においてエージェントの観測と行動の系列から、各タイムステップ
におけるエージェントの状態の抽象表現（状態表現）を学習する枠組みのこ
と
• モデルベース強化学習の文脈で用いられる用語
• 詳しくはこのレビュー論文と解説スライドを参照
State Representation Learning for Control: An Overview
https://arxiv.org/abs/1802.04181
[DL輪読会]`強化学習のための状態表現学習 －より良い「世界モデル」の
獲得に向けて－
https://www.slideshare.net/DeepLearningJP2016/dl-124128933
4](https://image.slidesharecdn.com/taniguchi20181221-190104064850/85/DL-Learning-Latent-Dynamics-for-Planning-from-Pixels-4-320.jpg){kind=tracking}
![状態表現学習
いい状態表現とは ([Böhmer et al., 2015] の定義)
① マルコフ性
– 現在の状態と行動のみから次の状態が予測できるほど圧縮された表現
– マルコフ決定過程を仮定したRLアルゴリズムとの相性が良い
② 方策 (policy) の改善に使える
③ 未知だが似た特徴をもつ状態に対して汎化する
④ 低次元
6](https://image.slidesharecdn.com/taniguchi20181221-190104064850/85/DL-Learning-Latent-Dynamics-for-Planning-from-Pixels-6-320.jpg){kind=tracking}
![モデルベースの難点
1. モデルの学習のミスがプランニングに大きな影響を及ぼす
– 基本的にモデルが環境の全てを学習しきることは不可能
– しかし、プランニング側はモデルがミスをしていたら対処する術がない
2. モデルの学習のためのデータをどう集めるか
– [Ha et al., 2018]のWorld modelsのようにランダムポリシーで環境を適当に探索させ
ることもできるが、効率的ではない
3. モデルの学習においてタスクを解くために必要な知識が状態表現から欠
落してしまう可能性がある
– これについては、モデルの学習に報酬情報を含めることで解決できるが、逆にその
場合は他タスクへの転移が難しくなる
7](https://image.slidesharecdn.com/taniguchi20181221-190104064850/85/DL-Learning-Latent-Dynamics-for-Planning-from-Pixels-7-320.jpg){kind=tracking}
![再帰的な状態空間モデル
疑問点
• 論文内では提案手法 (RSSM) も前頁の変分下限で学習できるとしているが、
明らかに違う気がする（なぜhを完全に無視しているのかわからない）
– おそらく正しい下限は↓
ln 𝑝(𝑜1:𝑇, |𝑎1:𝑇)
≥ E 𝑝 ℎ1:𝑇, 𝑠1:𝑇, 𝑎1:𝑇
𝑡=1
𝑇
E 𝑞 𝑠 𝑡
ln 𝑝 𝑜𝑡, 𝑠𝑡, ℎ 𝑡 − DKL[𝑞(𝑠𝑡)||𝑝(𝑠𝑡|ℎ 𝑡)]
– 期待値はモンテカルロ近似するので実装上は確かに変わらない
• SSMのマルコフ性を壊しているのでそもそも良いモデルなのか疑問
ここでは一旦この辺りは気にしないことにして進めます
16](https://image.slidesharecdn.com/taniguchi20181221-190104064850/85/DL-Learning-Latent-Dynamics-for-Planning-from-Pixels-16-320.jpg){kind=tracking}
![[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling](https://cdn.slidesharecdn.com/ss_thumbnails/decisiontransformer20210709zhangxin-210709021501-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]World Models](https://cdn.slidesharecdn.com/ss_thumbnails/20180427-180427003856-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Dream to Control: Learning Behaviors by Latent Imagination](https://cdn.slidesharecdn.com/ss_thumbnails/20200313furutav2-200313025657-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会] マルチエージェント強化学習と心の理論](https://cdn.slidesharecdn.com/ss_thumbnails/0917imai-211210044729-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...](https://cdn.slidesharecdn.com/ss_thumbnails/20190426akuzawa-190426020057-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介](https://cdn.slidesharecdn.com/ss_thumbnails/20191220readingpaperconvcnp-191220034420-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]相互情報量最大化による表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/20190913iwasawa-190913002312-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]GQNと関連研究，世界モデルとの関係について](https://cdn.slidesharecdn.com/ss_thumbnails/20180817-180827085537-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Control as Inferenceと発展](https://cdn.slidesharecdn.com/ss_thumbnails/20191004-191204055019-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]`強化学習のための状態表現学習 －より良い「世界モデル」の獲得に向けて－](https://cdn.slidesharecdn.com/ss_thumbnails/20181026staterepresenration-181127055206-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Flow-based Deep Generative Models](https://cdn.slidesharecdn.com/ss_thumbnails/20190307-190328024744-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing](https://cdn.slidesharecdn.com/ss_thumbnails/glide2-220107030326-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder](https://cdn.slidesharecdn.com/ss_thumbnails/nvaeadeephierarchicalvariationalautoencoder-201113004930-thumbnail.jpg?width=560&fit=bounds)
Ad
More Related Content
What's hot (20)
Similar to [DL輪読会]Learning Latent Dynamics for Planning from Pixels (20)
![[DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation](https://cdn.slidesharecdn.com/ss_thumbnails/20190517hrnet-190517005504-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Shaping Belief States with Generative Environment Models for RL](https://cdn.slidesharecdn.com/ss_thumbnails/20190705suzuki-191204061058-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Training RNNs as Fast as CNNs](https://cdn.slidesharecdn.com/ss_thumbnails/20171002dlhacks-171002105129-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会] Towards an Automatic Turing Test: Learning to Evaluate Dialogue Respo...](https://cdn.slidesharecdn.com/ss_thumbnails/170925dlhackstowardsanautomaticturingtest-170925104902-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Imagination-Augmented Agents for Deep Reinforcement Learning / Learnin...](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacksshioya201707281-170728054152-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Meta-Learning Probabilistic Inference for Prediction](https://cdn.slidesharecdn.com/ss_thumbnails/20181214dl-181218052422-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Explainable Reinforcement Learning: A Survey](https://cdn.slidesharecdn.com/ss_thumbnails/dl20201218okada-201218023817-thumbnail.jpg?width=560&fit=bounds)
Ad
More from Deep Learning JP (20)
Ad
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ Learning Latent Dynamics for Planning from Pixels ShoheiTaniguchi, Matsuo Lab
- 2. 書誌情報 Learning Latent Dynamics for Planning from Pixels Danijar Hafner, Timothy Lillicrap, Ian Fischer, Ruben Villegas, David Ha, Honglak Lee, James Davidson • 2018年11月12日にarXivに投稿された論文 • 著者はGoogle Brain, DeepMind, Google Research 選定理由 • 状態表現学習への興味 • 最近自分が考えていたことに近い気がした • (hardmaruがツイートしていて気になった) 2
- 3. アウトライン 1. 背景知識 – 状態表現学習 – モデルベースの難点 2. 提案手法 – 潜在空間上でのプランニング – 再帰的な状態空間モデル – 複数ステップ先の予測モデル 3. 実験 4. まとめ 3
- 4. 状態表現学習 • 強化学習においてエージェントの観測と行動の系列から、各タイムステップ におけるエージェントの状態の抽象表現（状態表現）を学習する枠組みのこ と • モデルベース強化学習の文脈で用いられる用語 • 詳しくはこのレビュー論文と解説スライドを参照 State Representation Learning for Control: An Overview https://arxiv.org/abs/1802.04181 [DL輪読会]`強化学習のための状態表現学習 －より良い「世界モデル」の 獲得に向けて－ https://www.slideshare.net/DeepLearningJP2016/dl-124128933 4
- 5. 状態表現学習 なぜ状態表現学習が大事なのか • モデルフリーの深層強化学習は多くの分野で成功 e.g. 囲碁, 将棋, ゲームAI (Atariなど), etc. • 実世界に適応可能なエージェントの実現には未だ多くの課題 ① サンプル効率 • 学習に膨大なサンプルを要するが実世界で集められるサンプルには限りがある ② 汎化 • 別のタスクへの転移ができない（タスクへの汎化） • 環境が変化すると全く機能しない（環境への汎化） • 環境のダイナミクスを含んだ状態表現学習とプランニングを分けて考える モデルベースが今後重要 – 状態表現は他タスクにおいても有用な表現であるため、容易に転移可能 – 状態表現をメタ学習できれば環境の変化にもfew shotに適応できるはず 5
- 6. 状態表現学習 いい状態表現とは ([Böhmer et al., 2015] の定義) ① マルコフ性 – 現在の状態と行動のみから次の状態が予測できるほど圧縮された表現 – マルコフ決定過程を仮定したRLアルゴリズムとの相性が良い ② 方策 (policy) の改善に使える ③ 未知だが似た特徴をもつ状態に対して汎化する ④ 低次元 6
- 7. モデルベースの難点 1. モデルの学習のミスがプランニングに大きな影響を及ぼす – 基本的にモデルが環境の全てを学習しきることは不可能 – しかし、プランニング側はモデルがミスをしていたら対処する術がない 2. モデルの学習のためのデータをどう集めるか – [Ha et al., 2018]のWorld modelsのようにランダムポリシーで環境を適当に探索させ ることもできるが、効率的ではない 3. モデルの学習においてタスクを解くために必要な知識が状態表現から欠 落してしまう可能性がある – これについては、モデルの学習に報酬情報を含めることで解決できるが、逆にその 場合は他タスクへの転移が難しくなる 7
- 8. アウトライン 1. 背景知識 – 状態表現学習 – モデルベースの難点 2. 提案手法 – 潜在空間上でのプランニング – 再帰的な状態空間モデル – 複数ステップ先の予測モデル 3. 実験 4. まとめ 8
- 9. 提案手法 Deep Planning Network (PlaNet) ① 潜在空間上でのプランニング – ダイナミクス（状態表現）のモデルの学習のためのデータの収集を潜在空間上での プランニングを用いてオンラインで行なった – 約50倍のサンプル効率でモデルフリーの手法であるA3Cを圧倒し、D4PGとほぼ同 等のスコアを達成 ② 再帰的な状態空間モデル – 状態表現の不確実性を考慮しつつ、長い系列情報を失うことなく良い表現を獲得す るためのモデルを提案 ③ 複数ステップ先の予測モデル – 通常のダイナミクスモデルは1ステップ先の予測のみを考慮するが、任意ステップ先 の予測 (overshooting)を考慮した状態表現学習を行う 9
- 10. 潜在空間上でのプランニング • ダイナミクスモデルの学習とそのためのデータの収集を交互に行う • データの収集の際、エージェントはモデルの潜在空間上でのプランニングで得られる方 策を用いて探索する • プランニングの学習にはCross Entropy Method (CEM) を使用 10 モデルの学習 データの収集 プランニングの学習
- 11. アウトライン 1. 背景知識 – 状態表現学習 – モデルベースの難点 2. 提案手法 – 潜在空間上でのプランニング – 再帰的な状態空間モデル – 複数ステップ先の予測モデル 3. 実験 4. まとめ 11
- 12. 再帰的な状態空間モデル プランニングのための良い状態表現の要素として以下の２つを主張 ① 不確実性を考慮している – 完全観測でない限り、エージェントの状態は常に不確実性を含んでいる – 決定論的なモデルでは不十分 ② 長期の系列情報を保持している – 状態表現は過去の観測系列をなるべくうまく圧縮した表現であってほしい これらを包括したRecurrent state-space model (RSSM) を提案 12
- 14. 再帰的な状態空間モデル RSSMのアーキテクチャ • 細かいアーキテクチャについては論文内に記述がないが、おそらく以下の ような形 • SSMではDeterministic RNNがなく、InferenceとPriorに𝑠𝑡−1と𝑎 𝑡−1が直接入 る 14 𝑠𝑡, ℎ 𝑡 𝑜𝑡, 𝑟𝑡𝑜𝑡, 𝑟𝑡, ℎ 𝑡 Generation 𝑝(𝑜𝑡|𝑠𝑡) Inference 𝑞(𝑠𝑡|𝑜𝑡, ℎ 𝑡) Prior 𝑞(𝑠𝑡|ℎ 𝑡) 𝑠𝑡 KL ℎ 𝑡 Deterministic RNN 𝑓(ℎ 𝑡−1, 𝑠𝑡−1, 𝑎 𝑡−1) ℎ 𝑡−1 𝑠𝑡−1 𝑎 𝑡−1
- 16. 再帰的な状態空間モデル 疑問点 • 論文内では提案手法 (RSSM) も前頁の変分下限で学習できるとしているが、 明らかに違う気がする（なぜhを完全に無視しているのかわからない） – おそらく正しい下限は↓ ln 𝑝(𝑜1:𝑇, |𝑎1:𝑇) ≥ E 𝑝 ℎ1:𝑇, 𝑠1:𝑇, 𝑎1:𝑇 𝑡=1 𝑇 E 𝑞 𝑠 𝑡 ln 𝑝 𝑜𝑡, 𝑠𝑡, ℎ 𝑡 − DKL[𝑞(𝑠𝑡)||𝑝(𝑠𝑡|ℎ 𝑡)] – 期待値はモンテカルロ近似するので実装上は確かに変わらない • SSMのマルコフ性を壊しているのでそもそも良いモデルなのか疑問 ここでは一旦この辺りは気にしないことにして進めます 16
- 17. アウトライン 1. 背景知識 – 状態表現学習 – モデルベースの難点 2. 提案手法 – 潜在空間上でのプランニング – 再帰的な状態空間モデル – 複数ステップ先の予測モデル 3. 実験 4. まとめ 17
- 18. 複数ステップ先の予測モデル • p13の変分下限は1ステップ先の予測のみに基づいて導かれている • もしモデルが完璧に学習できているとすれば、それを用いて複数ステップ先 の予測もできるので問題ない e.g. 𝑝 𝑠𝑡+2 𝑠𝑡, 𝑎 𝑡, 𝑎 𝑡+1 = 𝑝 𝑠𝑡+2 𝑠𝑡+1, 𝑎 𝑡+1 𝑝 𝑠𝑡+1 𝑠𝑡, 𝑎 𝑡 𝑑𝑠𝑡+1 • しかし、現実にはモデルが環境を完全に学習しきることはあり得ない • そこで以下のような下限を考えてdステップ先の予測 (overshooting) を学習 させる 18
- 20. アウトライン 1. 背景知識 – 状態表現学習 – モデルベースの難点 2. 提案手法 – 潜在空間上でのプランニング – 再帰的な状態空間モデル – 複数ステップ先の予測モデル 3. 実験 4. まとめ 20
- 21. 実験 DeepMind control suiteの4つのタスクで実験 • 結果はモデル間 (RNN, SSM, RSSM) の比較と、overshootingの有無での比 較を行なっている • 2つのモデルフリーの手法 (A3C, D4PG) との比較も行なっている 21
- 25. まとめ • モデルベース強化学習のフレームワークとして３つの新規性を持つ手法を 提案 ① モデルの学習とデータ収集・プランニングをオンラインで行う手法を提案し、サンプ ル効率を向上 ② 状態表現の不確実性を考慮し、かつ長い系列情報をうまく圧縮するためのVAE ベースのダイナミクスモデルを提案 ③ モデルの学習において複数ステップ先の予測モデルを考慮させることで、モデルの 不完全性による長期の予測での誤差の蓄積を避けることを実現 • 提案手法は強力なモデルフリーの手法に匹敵するスコアを記録 感想 • overshootingは面白いがハイパラ増えるしどうなんだろうという感想 • モデルが完全に学習しきらないことをどう考慮するかは今後のトピックの１ つになりそう 25