Depth Estimation論文紹介
Download as PPTX, PDF5 likes3,035 views
知識があんまりないときに作ったやつで、ミスが多いと思う
![Marcov Random Fieldをちょっと説明
ノイズ除去の例
• Pr 𝑤1…𝑁 𝑥1…𝑁 =
Pr 𝑥 𝑛 𝑤 𝑛 Pr 𝑤1…𝑁
Pr 𝑥1…𝑁
• 尤度:
・Pr 𝑥 𝑛 𝑤 𝑛 = 0 = 𝐵𝑒𝑟𝑛 𝑥 𝑛
[𝜌]
・Pr 𝑥 𝑛 𝑤 𝑛 = 1 = 𝐵𝑒𝑟𝑛 𝑥 𝑛
[1 − 𝜌]
• 事前分布: MRF(smoothness)
MAP推定をグラフカットで行う](https://image.slidesharecdn.com/depthestimation-180613141103/85/Depth-Estimation-7-320.jpg)
![CRFを使った手法
• Learning Depth from Single Monocular Images Using Deep
Convolutional Neural Fields(2015)
• CRFの解析解が直接求まるっぽい。
（正規化定数Zを解析的に求められるっぽい）
• CRFのUnaryとPairwise項をCNNで学習しているらしい。
UnaryとPairwise項→MAP推定の際に出てくる二つの項のこと
𝑤1…𝑁 = 𝑎𝑟𝑔𝑚𝑖𝑛 𝑤1…𝑁
[
𝑛=1
𝑁
𝑈 𝑛 𝑤 𝑛 +
𝑚,𝑛 ∈𝐶
𝑃 𝑚,𝑛 𝑤 𝑚, 𝑤 𝑛 ]](https://image.slidesharecdn.com/depthestimation-180613141103/85/Depth-Estimation-10-320.jpg)
![CRFとは？ Superpixelとは？
• MRFではPairwise項が隣接するw同士によるもの
𝑚,𝑛 ∈𝐶
𝑃𝑚,𝑛 𝑤 𝑚, 𝑤 𝑛
• CRFではPairwise項に観測xが入っている
𝑑
𝜉[𝑤, 𝑥]
• SuperPixelは似た傾向を持つ画素をひとまとめにした領域
有名な手法：SLIC(Simple Linear Iterative Clustering)](https://image.slidesharecdn.com/depthestimation-180613141103/85/Depth-Estimation-11-320.jpg)
![SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Recent Advances in Autoencoder-Based Representation Learning](https://cdn.slidesharecdn.com/ss_thumbnails/20190119dljournalclubweb-190401063633-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing](https://cdn.slidesharecdn.com/ss_thumbnails/glide2-220107030326-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Deep Learning 第15章 表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/deeplearning15-180601023904-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Few-Shot Unsupervised Image-to-Image Translation](https://cdn.slidesharecdn.com/ss_thumbnails/dlseminarfunit-190517005148-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]GQNと関連研究，世界モデルとの関係について](https://cdn.slidesharecdn.com/ss_thumbnails/20180817-180827085537-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Neural Ordinary Differential Equations](https://cdn.slidesharecdn.com/ss_thumbnails/nnasode1-190111001755-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...](https://cdn.slidesharecdn.com/ss_thumbnails/dlhackspectralnorm1-170907072536-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]When Does Label Smoothing Help?](https://cdn.slidesharecdn.com/ss_thumbnails/yokota20191227dl-191227001522-thumbnail.jpg?width=560&fit=bounds)
![ドライブレコーダ映像からの3次元空間認識 [MOBILITY:dev]](https://cdn.slidesharecdn.com/ss_thumbnails/20191031mobilitydevmiyazawa-191031085336-thumbnail.jpg?width=560&fit=bounds)
Ad
More Related Content
What's hot (20)
Similar to Depth Estimation論文紹介 (16)
Ad
More from Keio Robotics Association (9)
Ad
Depth Estimation論文紹介
- 2. とりあえず自己紹介 • システムデザイン工学科（今年で3年生） • ロボット技術研究会 • KCS ClassAI • 理工学部體育會剣道部 • Mira Robotics（バ先） • 夏にUCのどこかに留学予定 • Twitter: @syuntoku14
- 3. やろうと思った動機 • Lidarは高い • Kinectは光に弱い（Time of Flight 方式のレーザーセンサ） • 画像による予測を補強に使えないか？（詳しくはちょっと言え ないけど） 慶應にも似たような研究をしているところがあるらしい Depth Interpolation via Smooth Surface Segmentation Using Tangent Planes Based on the Superpixels of a Color Image （2013） 青木研究室かな？
- 6. （超）古典的な手法 Learning depth from single monocular images(2006) • MRF(Marcov Random Field) を利用して深度を予測している （MRFで隣接するパッチに対す る関係を計算） • 直近以外の情報も得るため、 色々な大きさのパッチを使う • フィルタは自分で設定（Law’s masksなど）
- 7. Marcov Random Fieldをちょっと説明 ノイズ除去の例 • Pr 𝑤1…𝑁 𝑥1…𝑁 = Pr 𝑥 𝑛 𝑤 𝑛 Pr 𝑤1…𝑁 Pr 𝑥1…𝑁 • 尤度: ・Pr 𝑥 𝑛 𝑤 𝑛 = 0 = 𝐵𝑒𝑟𝑛 𝑥 𝑛 [𝜌] ・Pr 𝑥 𝑛 𝑤 𝑛 = 1 = 𝐵𝑒𝑟𝑛 𝑥 𝑛 [1 − 𝜌] • 事前分布: MRF(smoothness) MAP推定をグラフカットで行う
- 8. ディープラーニングを使った手法 • Depth Map Prediction from a Single Image using a Multi- Scale Deep Network(2014) • 最初に全体の深度予測 (Coarse network) • 次にLocalな深度予測 (Fine network)
- 9. Scale-Invariant Error • 画素同士の関係も損失関数に組み込む 𝐷 𝑦, 𝑦∗ = 1 2𝑛 𝑖=1 𝑛 log 𝑦𝑖 − 𝑙𝑜𝑔𝑦𝑖 ∗ + 𝛼 𝑦, 𝑦∗ 2 𝛼 𝑦, 𝑦∗ = 1 𝑛 𝑖 (𝑙𝑜𝑔𝑦𝑖 ∗ − 𝑙𝑜𝑔𝑦𝑖) 変形して 𝐷 𝑦, 𝑦∗ = 1 2𝑛2 𝑖,𝑗 𝑙𝑜𝑔𝑦𝑖 − 𝑙𝑜𝑔𝑦𝑗 − 𝑙𝑜𝑔𝑦𝑖 ∗ − 𝑙𝑜𝑔𝑦𝑗 ∗ 2 教師データと予測データのそれぞれの相対深度が近いと損失が少ない
- 10. CRFを使った手法 • Learning Depth from Single Monocular Images Using Deep Convolutional Neural Fields(2015) • CRFの解析解が直接求まるっぽい。 （正規化定数Zを解析的に求められるっぽい） • CRFのUnaryとPairwise項をCNNで学習しているらしい。 UnaryとPairwise項→MAP推定の際に出てくる二つの項のこと 𝑤1…𝑁 = 𝑎𝑟𝑔𝑚𝑖𝑛 𝑤1…𝑁 [ 𝑛=1 𝑁 𝑈 𝑛 𝑤 𝑛 + 𝑚,𝑛 ∈𝐶 𝑃 𝑚,𝑛 𝑤 𝑚, 𝑤 𝑛 ]
- 11. CRFとは？ Superpixelとは？ • MRFではPairwise項が隣接するw同士によるもの 𝑚,𝑛 ∈𝐶 𝑃𝑚,𝑛 𝑤 𝑚, 𝑤 𝑛 • CRFではPairwise項に観測xが入っている 𝑑 𝜉[𝑤, 𝑥] • SuperPixelは似た傾向を持つ画素をひとまとめにした領域 有名な手法：SLIC(Simple Linear Iterative Clustering)
- 13. 学習について • Unary: Super PixelパッチをCNNに投げ、Zpを得る • PairWise: 隣接するSuperPixelをFully Connected Layerに投げ、 Rpqを得る • 学習後の推論はMAP推定で行う。
- 14. おわりに • 間違っていることが多いかもしれない • 最近は教師無し学習で頑張る人もいるみたい（読んでないけ ど） Unsupervised Monocular Depth Estimation with Left-Right Consistency • 似たようなことやってる研究室あったらちょっと見てみたさあ る
Editor's Notes
- #5: 質問するというより、教えてほしい。（適当な知識しかないので） 特にMRFとCRF周りのしっかりした知見が欲しいです。（授業とかでやらないですか？）
- #6: 局所的な部分だけ見ると、vanishing pointとか空などが分からない。 全体的な処理を行うことで相対的な深度も予測して、保管を行う
- #7: これなんか難しくてよくわからんかった。 MRFを理解するのに役立ちました。
- #8: ベルヌーイ分布は、確率μでコインが表になる確率分布みたいなやつ ノイズがあるか無いか、なのでベルヌーイ分布にしてみましょう。 隣接するものが似ているほどそれっぽさが大きい（MRF) つまり、MRFを使うとスムースっぽさを表すことができる
- #9: 2つ使う理由は最初に言ったやつ 相関的な深度と絶対的な深度を これなんかうまく理解できなくて、CNNなので、相関ごと何でもかんでも学習しそうな気はする。 どうやらCourseの方にはFullyConnectedがあるけど、Fineにはないみたい。→Fullで全体の情報を得ている
- #12: ちなみに、MRFは生成モデルで、CRFは識別モデルです。 MRFはP(x,y) CRFはP(y|x) MRFは例えば元データが欠けていても利用できる。 CRFは元データが与えられていないと推論できない？
- #13: エネルギー関数を最小にするようなZp,RpqをBPする zpは深度の絶対的な正確性 Rpqは隣接する深度とのスムースさを学習するのに用いる