[DL Hacks]Semantic Instance Segmentation with a Discriminative Loss Function
8 likes3,107 views
2018/05/28 Deep Learning JP: http://deeplearning.jp/hacks/
![Variance term
• 特徴ベクトル𝑥𝑖とクラスタの中心𝜇 𝑐の距離に対してのLoss
• [𝑥]+はmax(0, 𝑥)を表す
• 特徴ベクトル𝑥𝑖とクラスタの中心𝜇 𝑐の距離が
𝛿 𝑣以下になれば損失は発生しない](https://image.slidesharecdn.com/taniai20180528-180528084124/85/DL-Hacks-Semantic-Instance-Segmentation-with-a-Discriminative-Loss-Function-12-320.jpg)
![Distance term
• 異なる２つのクラスタの中心𝜇 𝑐𝐴, 𝜇 𝑐𝐵間の距離に対してのLoss
• [𝑥]+はmax(0, 𝑥)を表す
• 中心間の距離が
2𝛿 𝑑以下になれば損失は発生しない](https://image.slidesharecdn.com/taniai20180528-180528084124/85/DL-Hacks-Semantic-Instance-Segmentation-with-a-Discriminative-Loss-Function-13-320.jpg)
![[DL輪読会]Dense Captioning分野のまとめ](https://cdn.slidesharecdn.com/ss_thumbnails/dlseminar-201202012355-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...](https://cdn.slidesharecdn.com/ss_thumbnails/dl0114-220114032933-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]A closer look at few shot classification](https://cdn.slidesharecdn.com/ss_thumbnails/acloserlookatfew-shotclassification-190304034759-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis](https://cdn.slidesharecdn.com/ss_thumbnails/nerfdlseminar1-200327021512-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows](https://cdn.slidesharecdn.com/ss_thumbnails/swintransformer-210514020542-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]ドメイン転移と不変表現に関するサーベイ](https://cdn.slidesharecdn.com/ss_thumbnails/20190614iwasawa-190614005939-thumbnail.jpg?width=560&fit=bounds)
![SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...](https://cdn.slidesharecdn.com/ss_thumbnails/ss1-01-210607043349-thumbnail.jpg?width=560&fit=bounds)
![SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480-thumbnail.jpg?width=560&fit=bounds)
![[DL Hacks]OCNet: Object Context Networkfor Scene Parsing](https://cdn.slidesharecdn.com/ss_thumbnails/taniai20181123-181122101559-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to [DL Hacks]Semantic Instance Segmentation with a Discriminative Loss Function (20)
![[DL輪読会]STORM: An Integrated Framework for Fast Joint-Space Model-Predictive C...](https://cdn.slidesharecdn.com/ss_thumbnails/20211224articulatedmanipulationdl-220106042908-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyra...](https://cdn.slidesharecdn.com/ss_thumbnails/20190307m2detkuboshizuma-190308010212-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...](https://cdn.slidesharecdn.com/ss_thumbnails/20191206genesis-191206004127-thumbnail.jpg?width=560&fit=bounds)
![[DL Hacks] Objects as Points](https://cdn.slidesharecdn.com/ss_thumbnails/centernetpub-190627053219-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Freehand-Sketch to Image Synthesis 2018](https://cdn.slidesharecdn.com/ss_thumbnails/hozumi110918-181109001844-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Meta-Learning Probabilistic Inference for Prediction](https://cdn.slidesharecdn.com/ss_thumbnails/20181214dl-181218052422-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Objects as Points](https://cdn.slidesharecdn.com/ss_thumbnails/20190614centernetkuboshizuma-190614004246-thumbnail.jpg?width=560&fit=bounds)
More from Deep Learning JP (20)
[DL Hacks]Semantic Instance Segmentation with a Discriminative Loss Function
- 1. Semantic Instance Segmentation with a Discriminative Loss Function 東京大学大学院 情報理工学系研究科 電子情報学専攻 M2 谷合 廣紀
- 2. 書誌情報 • 論文名 • Semantic Instance Segmentation with a Discriminative Loss Function • 著者 • Bert De Branbandere, Davy Neven, Luc Van Gool (KU leuven) • arXiv • https://arxiv.org/abs/1708.02551 • CVPR2017 workshop
- 3. どんな内容？ • Instance Segmentationのための損失関数である Discriminative Lossの提案 • 既存のSemantic Segmentation用のネットワークを使うことができる • Object proposalやBounding boxを使わない手法 • 同じ種類の物体がたくさんある場合に強い
- 4. 背景
- 5. Instance Semmentation すごい… From https://github.com/facebookresearch/Detectron
- 7. 現実世界では • 世の中Bounding Boxで囲める物体ばかりではない • 実務では1種類の物体がたくさんあって、それらを区別したいときも多い • 医療画像における染色体や細胞核の画像 • 工場のベルトコンベアで流れてくる物体
- 8. 手法
- 9. 基本となるアイデア • ネットワークはピクセルごとに n次元の特徴ベクトルを出力する • 入力が(256, 256, 3)のRGB画像で nを16とすると、出力は(256, 256, 16) • ネットワークはこの特徴ベクトルが 次のような性質をもつように学習を行う • 同じインスタンスに属する特徴ベクトルは 近い場所にある • 異なるインスタンスに属する特徴ベクトルは 遠い場所にある
- 10. 基本となるアイデア • そのような特徴ベクトルを出力できるようになれば 後処理の段階でクラスタリングをすることで Instance Segmentationを実行できる！ • そんな特徴ベクトルを学習するための損失関数が Discriminative Loss
- 11. Discriminative Lossの3つの要素 • Variance term • 同じインスタンスに属する特徴ベクトルが近づくようにする引力 • Distance term • 異なるインスタンスに属する特徴ベクトルが遠ざかるようにする斥力 • Regularization term • ベクトルの正則化のための原点方向への弱い引力
- 12. Variance term • 特徴ベクトル𝑥𝑖とクラスタの中心𝜇 𝑐の距離に対してのLoss • [𝑥]+はmax(0, 𝑥)を表す • 特徴ベクトル𝑥𝑖とクラスタの中心𝜇 𝑐の距離が 𝛿 𝑣以下になれば損失は発生しない
- 13. Distance term • 異なる２つのクラスタの中心𝜇 𝑐𝐴, 𝜇 𝑐𝐵間の距離に対してのLoss • [𝑥]+はmax(0, 𝑥)を表す • 中心間の距離が 2𝛿 𝑑以下になれば損失は発生しない
- 15. Discriminative Loss • Discriminative Lossはこれらの重みづけ和 • 論文での値はそれぞれ 𝛼 = 1, 𝛽 = 1, 𝛾 = 0.001
- 16. 学習経過
- 17. 学習結果の一例 • Synthetic Scattered Sticks Dataset • この論文のオリジナルのデータセット？ • Bounding Boxベースだと難しいタスク
- 18. 実装
- 19. 実装方針 • PyTorchで実装 • 既に実装例あり: https://github.com/Wizaron/instance-segmentation-pytorch • 環境がPython2 • 微妙に実装が間違っている気がする… • というわけで、上記コードを大いに参考にしつつ自分で再実装: https://github.com/nyoki-mtl/pytorch-discriminative-loss • Synthetic Scattered Sticks Datasetも実装 • このDatasetに対して学習と推論をした
- 20. DiscriminativeLoss • 論文のパラメタをデフォルト引数に • ロスの計算はforwardで呼び出される • input • ネットワークの出力 • (batch, height, width, feature) • featureは特徴ベクトルの次元数 • target • ラベル • (batch, height, width, max_n_clusters) • max_n_clustersはインスタンス数の最大値
- 21. _discriminative_loss • Discriminative Lossの本体 • 各ロスの重み付き和を返す
- 22. _cluster_means • クラスタの中心を計算 𝜇 𝑐 = 1 𝑁𝑐 𝑖=1 𝑁 𝑐 𝑥𝑖
- 26. Synthetic Scattered Sticks Dataset • OpenCVで適当な場所に長方形を描画するだけ • 重なった場合、あとから描画される長方形のほうが上
- 27. UNet • Semantic Segmentationで よく使われるネットワーク構造 • 今回は入力が256*256 • 出力は最終層直前で分岐させて 2つの出力を出している • SemanticSegmentation用に 256*256*2 (背景+物体) 損失関数はSoftmax • 特徴ベクトル用に 256*256*16 損失関数は Discriminative Loss
- 28. Clustering • 今回Synthetic Scattered Sticksの棒の数は8個で固定していて クラスタ数が既知なためKMeansを使った • クラスタ数が未知の場合はMeanShiftを使うといいらしい 詳しくは論文を参照してください
- 29. 結果
- 30. 問題点 • 出力は次の3つが揃ってはじめてうまくいく • 物体領域(Semantic Segmentation) • 各ピクセルの特徴ベクトル • 何個のインスタンスが写っているか • インスタンス数を間違えると悲惨
- 31. まとめ • Discriminative Lossはピクセルごとに特徴ベクトルを出力するように 学習するための損失関数 • 既存のSemantic Segmentationのネットワーク構造を使うことができる • Bounding Boxベースでないため、Synthetic Scattered Sticks のような データに対してInstance Segmentationを行うことができる • 綺麗に出力を得るためには、物体領域とインスタンス数の情報も必要