[DL輪読会]ICLR2020の分布外検知速報

1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Out-of-Distribution 論⽂速報 in ICLR2020
Hirono Okamoto, Matsuo Lab

ICLR2020に投稿された論⽂が公開された
n 分布外検知に関係する論⽂をいくつか眺めてみた(だけので想像で話しているかもしれません)
n リンク: https://openreview.net/group?id=ICLR.cc/2020/Conference
n タイトル⼀覧:
n Out-of-Distribution Image Detection Using the Normalized Compression Distance
n Deep Generative Classifier for Out-of-distribution Sample Detection
n Learning Out-of-distribution Detection without Out-of-distribution Data
n Improving Dirichlet Prior Network for Out-of-Distribution Example Detection
n Zero-Shot Out-of-Distribution Detection with Feature Correlations
n How the Softmax Activation Hinders the Detection of Adversarial and Out-of-Distribution Examples in
Neural Networks
n Out-of-Distribution Detection Using Layerwise Uncertainty in Deep Neural Networks
n 所感: 今年めちゃくちゃOOD検知多い気がする(︖)・紹介するのは⼀部

そもそも分布外(Out-of-Distribution)検知とは?
n あるカテゴリ以外のカテゴリを検知するという問題
が多い
n 異常検知とは異なる(含めることができるが)
n 似た問題設定
n Open set recognition:
n In-distributionの分類 + OOD検知
n Generalized zero-shot learning:
n In-distributionの分類 + OODの分類
⼈が想像する異常検知

背景: OOD検知の基本的な２つの問題設定
n 1: 教師なし異常検知(訓練分布のラベルが与えられない)
n 2: 教師あり異常検知(訓練分布のラベルが与えられる)
訓練データテストデータ
正常異常
訓練データテストデータ
正常異常⽝⿃
今回は2の論⽂に着⽬する

とくに今回⽐較された⼿法達
n A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks
(ICLR 2017)
n ソフトマックスの出⼒の最⼤値をOODの指標として使う
n アイデア: OODは予測分類が曖昧になるはず
n ex) 3クラスのとき，[0.9, 0.05, 0.05]→正常, [0.3, 0.3, 0.4]→異常
n A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks
(NIPS 2018)
n 訓練分布から離れたところのサンプルを検出できるように，ソフトマックス層の⼀層前の出⼒の分布
を正規分布であることを仮定し，そこからどれだけ離れているかという⽅法でOOD検知を⾏う
n Predictive Uncertainty Estimation via Prior Networks (NIPS 2018)
n (a): 正常データを正しく予測できるとき(confident)
n (b): 正常データだが，どのラベルに属しているか
わからないとき(known-unknown)
n (c): 異常データ(unknown-unknown)

Out-of-Distribution Image Detection Using the Normalized
Compression Distance
n モチベーション: OODデータを全く使わず，モデルをretrainすることなくOOD検知したい
n 既存研究: A Simple Unified Framework for Detecting OOD Samples and Adversarial Attacks
n 最後から⼆番⽬の層において，マハラノビス距離を使ってOODを検知する
n さらに，CNNの特徴マップのglobal average poolingを組み合わせる
n しかし，組み合わせ⽅が，ロジスティック回帰であるため，turning⽤のOODが必要になってしまう
n やったこと: 系列の類似度を測る⼿法(normalized compression distance)の導⼊
n 複数の指標からOODであることを判定することができる
n 実験: OODを全く訓練時・テスト時に使ってないにもかかわらず強い
Lee 2018について解説したスライド: https://www.slideshare.net/ssuser9eb780/nips-2018-139360134

Deep Generative Classifier for Out-of-Distribution Sample Detection
n やったこと: クラス条件付きガウス分布を学習することによって，信頼度スコアを算出する
n 既存研究: (Lee, 2018)とほぼ同じだが，これはガウス分布になるように改めて訓練している
n 結果: そこまで良くない
⽩点: OOD
⾊点: 正常データ
左: softmax classifier
右: generative classifier
中⼼に近づける項
metric learningでいうcenter loss
クロスエントロピー項

Learning Out-of-distribution Detection without Out-of-distribution Data
n モチベーション: ハイパラチューニングをあるOODデータセットでした場合，他のOODデー
タセットに汎化しない問題を解決したい → そもそもin-distributionのデータしか使わない
n やったこと: 賢い
n OODかIDのドメインを仮定した確率分布をモデルにうまく組み込んだ
n 実験: 強い．まいった
OOD判定

Improving Dirichlet Prior Network for Out-of-Distribution Example Detection
n 関連研究: Estimating Predictive Uncertainty via Prior Networks
n in-distributionだがあいまいなデータと OOD を分類する⽅法を提案した
n モチベーション: 関連研究のロス関数が若⼲雑なので，うまいことしたい
n やったこと: ディリクレ分布のとんがり具合をコントロールする正則化項を追加した
n 結果: 良さげではあるが...?
prior networks スライド参考:
https://www.slideshare.net/DeepLearningJP2016/dlestimating-predictive-uncertainty-via-prior-networks

Zero-Shot Out-of-Distribution Detection with Feature Correlations
n モチベーション: モデルのretrainなし・OODにアクセスなしで，OOD検知をしたい
n やったこと:
n グラム⾏列使ってクラス条件付き異常を検知する
n L番⽬の層のチャネルの相関を⾒ている
n 結果: 良い
良い関連⼿法のまとめ

How the Softmax Activation Hinders the Detection of Adversarial
and Out-of-Distribution Examples in Neural Networks
n 所感: この現象は誰もが感じていたのではないだろうか

Out-of-Distribution Detection Using Layerwise Uncertainty in Deep Neural Networks
n モチベーション: in-distributionだがあいまいなデータと OOD をちゃんと分類したい
n やったこと: 各層の不確かさをとって，それらを組み合わせてOODを判定した
n 結果: 良さげ

[DL輪読会]ICLR2020の分布外検知速報

Recommended

More Related Content

What's hot (20)

Similar to [DL輪読会]ICLR2020の分布外検知速報 (20)

More from Deep Learning JP (20)

[DL輪読会]ICLR2020の分布外検知速報