[DL輪読会]Human Dynamics from Monocular Video with Dynamic Camera Movements

Feb 25, 2022Download as PPTX, PDF0 likes423 views

Deep Learning JP

2022/02/25 Deep Learning JP: http://deeplearning.jp/seminar-2/

目次
1. 書誌情報
2. 概要
3. 研究背景
4. 提案手法
5. 実験結果
6. 考察・所感
2

1. 書誌情報
紹介論文
題名：Human Dynamics from Monocular Video with Dynamic Camera Movements
出典：SIGGRAPH Asia 2021
著者：RI YU, HWANGPIL PARK, JEHEE LEE
所属：SNU
選書理由
今まで見過ごされていた3d human pose estimationの課題を
見事に解いていた．
3

結果
4
{人，カメラ｝の動きが激しい単眼動画から人動作を移動量を含めて復元 Youtube link

2. 概要
• 激しく｛人，カメラ｝が移動する単眼動画から動作を復元する手法を提案した
• 研究背景：激しいパン・チルト・ズームを含んだ動画は，
特徴点からカメラの自己位置推定が困難であり，
被写体の3次元空間の移動量を求めることが困難
→移動量が求められず姿勢推定が不完全
• アイデア：物理法則（物理シミュレータ）からヒントを得て移動量を推定
• 手法： 2,3次元姿勢推定で得られた姿勢（関節角度）を
物理シミュレータ上で再現するように強化学習を行うことで，
3次元空間の移動量を推定 5

3. 研究背景
• 激しい動きを含んだ動画では，姿勢推定は移動量を正しく推定できない
– アニメーション技術やロボット動作獲得には適用不可
6
３次元姿勢推定結果
推定結果の重ね合わせ
移動量の推定失敗

• 人動作が物理法則に従うことを利用して姿勢などから移動量を推定する．
4. 提案手法：アイデア
7
姿勢推定結果
（root位置・回転な
し）
体の向き（２次元ベクトル），接触
（binary)
物理シミュレー
タ,
強化学習
による復元
復元された側転動作

4. 提案手法： Contact Estimator, body orientation
9
2次元姿勢推定の結果から，体の向きを取
得
９フレーム分の２次元姿勢推定結果から
MLPにより接触を判定 Rempe et.al.[1]
学習データはCGシミュレータ上で作成

提案手法： Scene Arrangement
10
学習：大まかに与えたオブジェクトの位置，高さに外乱を加える
推論：後述する報酬を最大化するようにオブジェクトを配置（探
索）

4. 提案手法：報酬設計
• 報酬
11
関節角角速度体の向き接触体中心への外力の制約
外力： RFC[2]において提案，
人体と３ｄモデルの差を修正す
る
推定した情報との一致
接触する
物体との距
離
接触する
物体との
方向の一致
接触タイミングから
予測される放物線との一
致

5. 実験結果
12
動きの激しい単眼動画から人動作を復元 Youtube link: https://www.youtube.com/watch?v=SOhgfAFN9eI
再掲

6. 考察・所感
• 従来の姿勢推定では無視されていた移動量を推定できる点は有用
– カメラ自己位置推定との比較実験が無いため疑問は残る
• 推定のために強化学習を行うことから，計算量が膨大
• 下準備が多いのは不便
– オブジェクトなどを用意した環境作成する
– カメラの動きが激しい想定なため，depth推定なので環境を再構成することも困難か
• 今後の展望
– 多人数が絡む動作（格闘技など）の動作再構成
– 水中や無重力下での動作再構成
– ロボットへのmotion transfer 14

Liming Han, Yimin Lin, Guoguang Du, Shiguo Lian : DeepVIO: Self-supervised Deep Learning of Monocular Visual Inertial Odometry using 3D Geometric Constraints, arXiv preprint arXiv:1906.11435 (2019), https://arxiv.org/abs/1906.11435 公開URL: https://arxiv.org/abs/1906.11435 概要: 6-DoF運動の推定はロボット工学において重要な課題の一つです。教師あり学習のVisual Inertial Odometry(VIO)は存在しますが、学習のための大量のGround Truthデータが必要となります。この問題を解決するために、低コストのステレオカメラを用いた自己教師ありVIOシステムが提案されています。2次元のオプティカルフロー特徴量とIMUのデータをマージすることによって、絶対位置の軌跡を推定します。

20150414seminarnlab_utokyo

[DLHacks 実装] DeepPose: Human Pose Estimation via Deep Neural NetworksDeep Learning JP

【DL輪読会】Decoupling Human and Camera Motion from Videos in the Wild (CVPR2023)Deep Learning JP

[DL輪読会]DropBlock: A regularization method for convolutional networksDeep Learning JP

Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised L...harmonylab

紹介論文 Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos 出典: Vincent Casser, Soeren Pirk Reza, Mahjourian, Anelia Angelova : Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos, the AAAI Conference on Artificial Intelligence, Vol. 33, pp. 8001-8008 (2019) 概要: カメラ映像による深度予測は、屋内及び屋外のロボットナビゲーションにとって必要なタスクです。本研究では、教師なし学習を用いて映像の深度予測とカメラのエゴモーション（自身の動き）の学習に取り組んでいます。先行研究で確立されたベースラインのモデルに、移動する個々の物体のモデル化と、オンラインでのモデルの調整を行う手法を取り入れています。結果として、物体の動きを多く含むシーンでの予測結果を大幅に向上させています。

Cv勉強会cvpr2018読み会: Im2Flow: Motion Hallucination from Static Images for Action...Toshiki Sakai

[DL輪読会]ODT: Online Decision TransformerDeep Learning JP

Geotag Data Mining （メタサーベイ）cvpaper. challenge

cvpaper.challenge のメタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議30+本投稿」することです。 http://xpaperchallenge.org/cv/

「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation Takumi Ohkuma

シンプルな Vision Transformer (ViT) をベースにした Human Pose Estimation (HPE) 手法を提案した研究。本研究以前にも Transformer x HPE の研究は存在したが、その多くが複雑なモジュールやCNNとの融合等を用いた研究である一方、本研究はシンプルさを追求し、ViTをほぼそのまま用いたモデルを提案。更に、Masked-autoencoder による事前学習や、Multi-dataset Training 等を駆使し、超大規模データセットによる事前学習等を用いずに最高精度を実現。

【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDeep Learning JP

[DL輪読会]"Omnimatte: Associating Objects and Their Effects in Video"Deep Learning JP

20150930nlab_utokyo

【DL輪読会】Masked World Models for Visual ControlDeep Learning JP

Deeplearning lt.pdfDeep Learning JP

ACCV2014参加報告Yasutomo Kawanishi

[2019-03-14] JSPP19 深層学習による植物注釈タスクとPublic Cloud活用法Eli Kaminuma

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving PlannersDeep Learning JP

【DL輪読会】事前学習用データセットについてDeep Learning JP

【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...Deep Learning JP

【DL輪読会】Zero-Shot Dual-Lens Super-ResolutionDeep Learning JP

【DL輪読会】BloombergGPT: A Large Language Model for Finance arxivDeep Learning JP

【DL輪読会】マルチモーダル LLMDeep Learning JP

【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...Deep Learning JP

【DL輪読会】AnyLoc: Towards Universal Visual Place RecognitionDeep Learning JP

【DL輪読会】Can Neural Network Memorization Be Localized?Deep Learning JP

【DL輪読会】Hopfield network　関連研究についてDeep Learning JP

【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )Deep Learning JP

【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...Deep Learning JP

【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"Deep Learning JP

More Related Content

Similar to [DL輪読会]Human Dynamics from Monocular Video with Dynamic Camera Movements (9)

Geotag Data Mining （メタサーベイ）cvpaper. challenge

「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation Takumi Ohkuma

【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDeep Learning JP

[DL輪読会]"Omnimatte: Associating Objects and Their Effects in Video"Deep Learning JP

20150930nlab_utokyo

【DL輪読会】Masked World Models for Visual ControlDeep Learning JP

Deeplearning lt.pdfDeep Learning JP

ACCV2014参加報告Yasutomo Kawanishi

[2019-03-14] JSPP19 深層学習による植物注釈タスクとPublic Cloud活用法Eli Kaminuma

Geotag Data Mining （メタサーベイ）cvpaper. challenge

「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation Takumi Ohkuma

【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDeep Learning JP

[DL輪読会]"Omnimatte: Associating Objects and Their Effects in Video"Deep Learning JP

20150930nlab_utokyo

【DL輪読会】Masked World Models for Visual ControlDeep Learning JP

Deeplearning lt.pdfDeep Learning JP

ACCV2014参加報告Yasutomo Kawanishi

[2019-03-14] JSPP19 深層学習による植物注釈タスクとPublic Cloud活用法Eli Kaminuma

More from Deep Learning JP (20)

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving PlannersDeep Learning JP

【DL輪読会】事前学習用データセットについてDeep Learning JP

【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...Deep Learning JP

【DL輪読会】Zero-Shot Dual-Lens Super-ResolutionDeep Learning JP

【DL輪読会】BloombergGPT: A Large Language Model for Finance arxivDeep Learning JP

【DL輪読会】マルチモーダル LLMDeep Learning JP

【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...Deep Learning JP

【DL輪読会】AnyLoc: Towards Universal Visual Place RecognitionDeep Learning JP

【DL輪読会】Can Neural Network Memorization Be Localized?Deep Learning JP

【DL輪読会】Hopfield network　関連研究についてDeep Learning JP

【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )Deep Learning JP

【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...Deep Learning JP

【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"Deep Learning JP

【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "Deep Learning JP

【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat ModelsDeep Learning JP

【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"Deep Learning JP

【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...Deep Learning JP

【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...Deep Learning JP

【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...Deep Learning JP

【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...Deep Learning JP