【DL輪読会】Code as Policies: Language Model Programs for Embodied Control
0 likes889 views
2022/11/11 Deep Learning JP http://deeplearning.jp/seminar-2/
![DEEP LEARNING JP
[DL Papers]
Code as Policies: Language Model Programs
for Embodied Control
Keno Harada, M2, the University of Tokyo
http://deeplearning.jp/](https://image.slidesharecdn.com/codeaspolicy20221111-221111052351-e3c852c3/85/DL-Code-as-Policies-Language-Model-Programs-for-Embodied-Control-1-320.jpg)
【DL輪読会】Code as Policies: Language Model Programs for Embodied Control
- 1. DEEP LEARNING JP [DL Papers] Code as Policies: Language Model Programs for Embodied Control Keno Harada, M2, the University of Tokyo http://deeplearning.jp/
- 2. 書誌情報 論文名 Code as Policies: Language Model Programs for Embodied Control 著者 Jacky Liang, Wenlong Huang, Fei Xia, Peng Xu, Karol Hausman, Brian Ichter, Pete Florence, Andy Zeng (Robotics at Google) 概要 大規模言語モデルによるプログラム生成を用いて、指示文のコメントと小サンプ ルのプロンプトからロボットの行動方策のプログラムを生成. あらかじめ準備する 行動、認識APIとプロンプト文を工夫することによりPerception-actionのフィー ドバックループを必要とするようなタスクに応じた行動方策の記述を可能に. Link https://code-as-policies.github.io/ https://ai.googleblog.com/2022/11/robots-that-write-their-own- code.html 2
- 3. 背景: 大規模言語モデルを用いたプランニング + 行動の課題 Perception-actionのフィードバックループを必要とするようなタス ク(指示文)に応じた行動方策を柔軟に設計できない • スキルをあらかじめ準備し、タスクプランニングを大規模言語モデルに 任せる(SayCanなど) - あらかじめ準備したスキルの選択、順序を決めるのみ - スキルの追加は大量のデータを用いたBC, RLが必要 現状のパイプラインで実行できないタスク • 知覚と行動が結びついているタスク: “オレンジが見えたらリンゴを置い て” • 常識を反映するようなタスク: “より早く動いて” • 空間の相対関係を考慮するタスク: “リンゴをもう少し左に動かして” 3
- 4. 大規模言語モデルを用いたプログラム生成に着目 4 プロンプト 指示文 出力 From Code as Policies: Language Model Programs for Embodied Control
- 5. 関連研究:大規模言語モデルを使用してタスクのサブタスクを記述、場面 に合わせたサブタスクの選択 5 From Do As I Can, Not As I Say: Grounding Language in Robotic Affordances
- 6. 関連研究:大規模言語モデルへ物体検出結果の組み 込み 6 From Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language
- 7. 関連研究: 言語モデルを使用したプログラム生成 7 From Evaluating Large Language Models Trained on Code
- 8. 関連研究との違い 8 From Code as Policies: Language Model Programs for Embodied Control
- 9. 提案手法 • Prompting Language Model Programs - Promptの構成要素 • Example Language Model Programs(Low‒level) - Code-writing LLMの使用による学習データ中のthird-party library の使用 - 関数名の工夫とHint/Examplesの工夫による自前libraryの使用 - タスク指示文とcodeを結びつけるLanguage reasoning • Example Language Model Programs(High-level) - while loop, nested function, hierarchically generation 9
- 10. Promptの構成要素 • Hints - どのAPIが呼び出し可能か、そのAPIがどのように呼び出しうるかの type hints import numpy as np from utils import get̲obj̲names, put̲first̲on̲second • Examples - 自然言語の指示文(#コメント)とそれを遂行するプログラムとのペア - プロンプトに過去の指示とプログラム例を含めていくことで、”undo the last action“というような指示も行える 10
- 11. Low-level 11 From Code as Policies: Language Model Programs for Embodied Control Third-party library
- 12. Low-level 12 From Code as Policies: Language Model Programs for Embodied Control 自前ライブラリ Language reasoning
- 13. High-level: control flow 13 From Code as Policies: Language Model Programs for Embodied Control
- 14. High-level: nested function 14 From Code as Policies: Language Model Programs for Embodied Control
- 15. High-level: Hierarchical generation 15 From Code as Policies: Language Model Programs for Embodied Control
- 16. High-level 16 From Code as Policies: Language Model Programs for Embodied Control
- 17. 実験 • 階層的なプログラム生成の工夫の有効性の確認 - Code-Generation Benchmarksにおいてプログラム生成そのもの の質の確認 • マニピュレーションタスクにおいて既存手法との比較 • 提案手法が異なるロボットにおいても容易に適用可能であることの確認 17
- 18. RoboCodeGenを新しく提案・評価 空間情報、幾何情報を考慮したプログラム生成問題の追加 生成結果に含まれるプログラムに外部ライブラリの使用許可・推奨 Docstingなし 18 From Code as Policies: Language Model Programs for Embodied Control
- 19. Flat vs Hierarchical(未定義の関数使用) 19 From Code as Policies: Language Model Programs for Embodied Control このpromptにおける階層の工夫が提案手法での独特な工夫
- 20. 既存手法より高い汎化性能を確認 • 階層的なプログラム生成の工夫の有効性の確認 - Code-Generation Benchmarksにおいてプログラム生成そのもの の質の確認 U: Unseen, S: Seen, A: Attribute(物体の特徴), I: Instruction(指示文) 20 From Code as Policies: Language Model Programs for Embodied Control
- 21. 既存手法より高い汎化性能を確認 21 From Code as Policies: Language Model Programs for Embodied Control
- 22. 既存手法より高い汎化性能を確認 22 From Code as Policies: Language Model Programs for Embodied Control
- 23. Mobile Manipulatorへの適用 23 # take the coca cola can from the cart and put it in the middle of the fruits on the table. From Code as Policies: Language Model Programs for Embodied Control
- 24. おまけ 24 From Code as Policies: Language Model Programs for Embodied Control