![VAEベースの教師なしDisentanglementの風雲児
“VAE”と”β-VAE”の相違点
⚫ KLダイバージェンス(KLD)
に重み係数βを追加
各潜在変数がそれぞれ正規分布に
落ちるよう強く制約をかける
ことで各潜在変数が独立になる
β-VAE(1/4)
18[2] Yosua Bengio et al. hogehoge
[5] Yosua Bengio et al. hogehoge
VAE-based/確率論](https://image.slidesharecdn.com/magurodisentanglementverdistribution-191005033805/85/Disentanglement-Survey-Can-You-Explain-How-Much-Are-Generative-models-Disentangled-18-320.jpg)
![式分解戦国時代の幕開け、Total Correlation(TC)
“β-VAE”の問題点
⚫ KLD項に重みを掛けると再構成誤差が軽視される
→画像がぼやけやすくなる
再構成誤差に影響を与えないようにしよう！
FactorVAE(1/5)
25[6] Yosua Bengio et al. hogehoge
InfoGANは訓練が安定せず実用的ではない
VAE-based/確率論、情報理論](https://image.slidesharecdn.com/magurodisentanglementverdistribution-191005033805/85/Disentanglement-Survey-Can-You-Explain-How-Much-Are-Generative-models-Disentangled-25-320.jpg)
![姿勢情報と人物特徴を分離しての姿勢転写
62
応用研究FD-GAN(2/2)
既存手法[18, 19]に対して
FD-GANは正しく転写できている
しかし、まだまだ鞄は課題ありか](https://image.slidesharecdn.com/magurodisentanglementverdistribution-191005033805/85/Disentanglement-Survey-Can-You-Explain-How-Much-Are-Generative-models-Disentangled-62-320.jpg)
![[DL輪読会]Disentangling by Factorising](https://cdn.slidesharecdn.com/ss_thumbnails/20180720disentanglingbyfactorising-180720000930-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Flow-based Deep Generative Models](https://cdn.slidesharecdn.com/ss_thumbnails/20190307-190328024744-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder](https://cdn.slidesharecdn.com/ss_thumbnails/nvaeadeephierarchicalvariationalautoencoder-201113004930-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...](https://cdn.slidesharecdn.com/ss_thumbnails/20190426akuzawa-190426020057-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...](https://cdn.slidesharecdn.com/ss_thumbnails/dlhackspectralnorm1-170907072536-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...](https://cdn.slidesharecdn.com/ss_thumbnails/wgan-1-170224021826-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent](https://cdn.slidesharecdn.com/ss_thumbnails/20171106dl2-171108033614-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision](https://cdn.slidesharecdn.com/ss_thumbnails/dlkobayashi0115-210115012308-thumbnail.jpg?width=560&fit=bounds)
Ad
More Related Content
What's hot (20)
Disentanglement Survey:Can You Explain How Much Are Generative models Disentangled?
- 1. Disentanglement Survey Hideki Tsunashima(@maguroIsland) 1Kogakuin University, AIST Can You Explain How Much Are Generative models Disentangled?
- 2. 自己紹介 2 綱島 秀樹(@maguroIsland) -所属 工学院大学 修士課程2年-陳研究室 産総研(AIST) Research Assistant -研究テーマ 生成モデルの計算量削減、画像生成 -趣味 筋トレ、アメフト、読書、音楽ゲーム
- 3. ※注意※ 3 ⚫ 2019年10月現在の情報が元のサーベイ資料です ⚫ 数式は簡略化のため、一部ロス形式で記述をしま すので、元の数式を確認したい人はリファレンス を参照してください ⚫ 沢山の論文の紹介ではなくDisentanglementの 系譜を俯瞰的に見るサーベイとなっています (最後の系統ごとに論文リストを載せます) ⚫ スライドは私のtwitterに載せているので、そこ から飛んでご確認ください→ @maguroIsland
- 5. 画像生成モデル巨人 VAE(おさらい) 5 VAE-based/確率論 ⚫ 画像を圧縮された表現zに エンコード ⚫ zが事前分布(e.g. 正規分布) に従うようにする
- 6. 画像生成モデル巨人 VAE(おさらい) 6 VAE-based/確率論 ⚫ 画像xを圧縮された表現zに エンコード ⚫ zが事前分布(e.g. 正規分布) に従うようにする ⚫ zからxを復元 潜在変数zを正規分布からサンプ リングすることで色々な画像を 生成可能
- 7. ディスエンタングルメント 7 • Disentanglement＝もつれの解け • Entanglement＝もつれ ディスエンタングルメントされた表現とは一つの 潜在ユニットは一つの生成因子に対して敏感であり、 その他の因子に影響を及ぼさない表現と定義される。 Yosua Bengio • ディスエンタングルメントの定義
- 9. Contents 9 Disentanglementの系譜、尺度、応用 i. ディスエンタングルメントの系譜 ii. 式分解戦国時代 iii. ディスエンタングルメントの評価尺度 iv. Go Beyond Disentanglement v. メタサーベイ
- 11. 生成モデルの教師なしDisentanglementの風雲児 “InfoGAN”と”vanillaのGAN”の相違点 ⚫ Generator(G)の入力に潜在コードc(ベクトル形式)を追加 ⚫ Discriminator(D)はreal/fake判定だけでなく 潜在コードcの推論を行う ⚫ Gの入力cとDの推論結果が一致するよう訓練 →相互情報量の最大化 InfoGAN(1/6) 11 GAN-based/情報理論
- 14. 生成モデルの教師なしDisentanglementの風雲児 InfoGAN(4/6) 14 各離散コードに固有の表現 としてDisentanglement されている GAN-based/情報理論
- 18. VAEベースの教師なしDisentanglementの風雲児 “VAE”と”β-VAE”の相違点 ⚫ KLダイバージェンス(KLD) に重み係数βを追加 各潜在変数がそれぞれ正規分布に 落ちるよう強く制約をかける ことで各潜在変数が独立になる β-VAE(1/4) 18[2] Yosua Bengio et al. hogehoge [5] Yosua Bengio et al. hogehoge VAE-based/確率論
- 19. VAEベースの教師なしDisentanglementの風雲児 ℒ = 𝔼 𝑞φ(𝑧|𝑥) 𝑙𝑜𝑔𝑝θ (𝑥|𝑧) − 𝐷 𝐾𝐿 𝑞φ 𝑧 𝑥 ||𝑝(𝑧) β-VAE(2/4) 19 変分下界(Lower Bound) VAEにおいて最大化すべき 目的関数 パラメータθのNN(Decoder)で再構成 する分布をパラメータΦのNN (Encoder) で期待値を取った項 要するにやることは期待値の最大化 (=エンコードしたzを使ってxを完璧に再構 成する)なので、再構成誤差の最小化の項 VAE-based/確率論
- 20. VAEベースの教師なしDisentanglementの風雲児 ℒ = 𝔼 𝑞φ(𝑧|𝑥) 𝑙𝑜𝑔𝑝θ (𝑥|𝑧) − 𝐷 𝐾𝐿 𝑞φ 𝑧 𝑥 ||𝑝(𝑧) β-VAE(2/4) 20 パラメータΦのNN(Encoer)でxから 推定したエンコードしたzの分布と 事前に選んでおいた分布とのKLDを 取る項 要するに事前分布に推定した分布を 近づけたいので、KLDの最小化の項 VAE-based/確率論
- 21. VAEベースの教師なしDisentanglementの風雲児 ℒ = 𝔼 𝑞φ(𝑧|𝑥) 𝑙𝑜𝑔𝑝θ (𝑥|𝑧) − 𝐷 𝐾𝐿 𝑞φ 𝑧 𝑥 ||𝑝(𝑧) β-VAE(2/4) 21 𝜷𝐷 𝐾𝐿 𝑞φ 𝑧 𝑥 ||𝑝(𝑧) KLD項に重み係数β(β>1)を 加えることで各潜在変数が より強く事前分布に従うよう に制約を加える VAE-based/確率論
- 22. VAEベースの教師なしDisentanglementの風雲児 β-VAE(3/4) 22 ⚫ VAE Enganlementして しまっている ⚫ InfoGAN 変化が乏しい ⚫ β-VAE 変化も豊かで Entanglementも あまりない (すごいぼやけて いるような...) VAE-based/確率論
- 24. Contents 24 Disentanglementの系譜、尺度、応用 i. ディスエンタングルメントの系譜 ii. 式分解戦国時代 iii. ディスエンタングルメントの評価尺度 iv. Go Beyond Disentanglement v. メタサーベイ
- 25. 式分解戦国時代の幕開け、Total Correlation(TC) “β-VAE”の問題点 ⚫ KLD項に重みを掛けると再構成誤差が軽視される →画像がぼやけやすくなる 再構成誤差に影響を与えないようにしよう！ FactorVAE(1/5) 25[6] Yosua Bengio et al. hogehoge InfoGANは訓練が安定せず実用的ではない VAE-based/確率論、情報理論
- 26. 式分解戦国時代の幕開け、Total Correlation(TC) β-VAEの再構成誤差が増加する原因とは？ ℒβ−𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 +β(−𝐼 𝑥; 𝑧 +ℒ 𝐾𝐿 𝑞 𝑧 , 𝑝 𝑧 ) FactorVAE(2/5) 26 VAE-based/確率論、情報理論 KLD項(分布の不一致度) ここではz単体の分布と事前 分布の不一致度 この項の最小化で各潜在変数 は独立となる ℒβ−𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 + βℒ 𝐾𝐿 (N:minibatch) KLDのデータ分布での期待値を分解 1 𝑁 σ 𝑛=1 𝑁 𝐴 = 𝔼 𝑝(𝑥) 𝐴 MI項(Mutual Information：相互情報量) 2分布間の依存関係を表している ここでは入力xと潜在変数zの依存関係 この項の最大化でxとzの対応関係が獲得される 既存の損失関数は𝔼 𝑝(𝑥) ℒ 𝐾𝐿 を最小化しようとして たので、相互情報量も最小化してしまっていた！ →xからzへの情報損失＝再構成誤差の増加
- 27. 式分解戦国時代の幕開け、Total Correlation(TC) β-VAEの再構成誤差が増加する原因とは？ FactorVAE(2/5) 27 VAE-based/確率論、情報理論 ℒβ−𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 + βℒ 𝐾𝐿 (N:minibatch) KLDのデータ分布での期待値を分解 1 𝑁 σ 𝑛=1 𝑁 𝐴 = 𝔼 𝑝(𝑥) 𝐴 しかし、、、 相互情報量は直接計算することが不可能なため、この式は解けない では、一体どうすれば、、、 ℒβ−𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 +β(−𝐼 𝑥; 𝑧 +ℒ 𝐾𝐿 𝑞 𝑧 , 𝑝 𝑧 )
- 28. 式分解戦国時代の幕開け、Total Correlation(TC) β-VAEの再構成誤差が増加する原因とは？ ℒ 𝐹𝑎𝑐𝑜𝑟𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 + ℒ 𝐾𝐿 +γℒ 𝑇𝐶 FactorVAE(2/5) 28 VAE-based/確率論、情報理論 ℒβ−𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 + βℒ 𝐾𝐿 (N:minibatch) KLDのデータ分布での期待値を分解 1 𝑁 σ 𝑛=1 𝑁 𝐴 = 𝔼 𝑝(𝑥) 𝐴 TCの制約項(2分布間の独立性) 相互情報量があまり小さくしないようにし、それとは 別に潜在変数同士が独立になる制約項を追加 この項を最小化することで潜在変数が独立になる！ →Disentanglementのみが促される！ ℒβ−𝑉𝐴𝐸 = 1 𝑁 σ 𝑛=1 𝑁 ℒ 𝑟𝑒𝑐𝑜𝑛𝑠𝑡 +β(−𝐼 𝑥; 𝑧 +ℒ 𝐾𝐿 𝑞 𝑧 , 𝑝 𝑧 )
- 36. Contents 36 Disentanglementの系譜、尺度、応用 i. ディスエンタングルメントの系譜 ii. 式分解戦国時代 iii. ディスエンタングルメントの評価尺度 iv. Go Beyond Disentanglement v. メタサーベイ
- 37. Disentanglementの評価尺度の登場！ Disentanglement Metric Scoreについて ⚫ β-VAEにて提案された初のDisentanglementの評価尺度 ⚫ 分解される因子(e.g. 回転、太さ)があらかじめわかっている ときのみ使用可能 ⚫ ネットワーク(VAEなど)から生成した画像がどの因子を保持 しているのかを線形分類器でクラス分類する手法 →正しい因子に分類されればOK！ Disentanglement Metric Score 37 Metric
- 38. Disentanglement Metric Scoreを正しい尺度へ Disentanglement Metric Scoreには問題が、、、 ⚫ iteration数、重み初期化などのハイパラに線形分類器が敏感 ⚫ 線形分類器に通してしまうと直感的ではない (説明性の観点でも分類器に通すのは厄介) ⚫ K個中K-1個の因子のDisentanglementでスコア100%が出る →致命的なバグ Improved Disentanglement Metric Score(1/3) 38 Metric
- 39. Disentanglement Metric Scoreを正しい尺度へ Disentanglement Metric Scoreを改良した評価尺度について ⚫ FactorVAEで提案された評価尺度 ⚫ 分解される因子(e.g. 回転、太さ)があらかじめわかっている ときのみ使用可能 ⚫ クラス分類ではなく多数決で因子を決定することでハイパラ に敏感でなくなった ⚫ 旧手法に比べてトータルの速度は210倍～1800倍！！※ (旧手法:30分、本手法:数秒) 39 Metric ※ 旧手法はクラス分類器の訓練が必要なので遅い Improved Disentanglement Metric Score(2/3)
- 40. Disentanglement Metric Scoreを正しい尺度へ 40 Metric 1つの因子を固定したL個の画像を生成し、 訓練済みEncoderで潜在変数zを獲得します Improved Disentanglement Metric Score(3/3)
- 41. Disentanglement Metric Scoreを正しい尺度へ 41 Metric 潜在変数zの分散を求める 因子が完全にDisentanglementされている 場合はその因子の分散は0となる Improved Disentanglement Metric Score(3/3)
- 42. Disentanglement Metric Scoreを正しい尺度へ 42 Metric 分散が最も小さい因子の潜在変数zの次元を求める Improved Disentanglement Metric Score(3/3)
- 43. Disentanglement Metric Scoreを正しい尺度へ Improved Disentanglement Metric Score(3/3) 43 Metric 最終的に青枠の処理をV回(Vは青枠の繰り返し回数) 行い、多数決を取ることでどこがDisentanglement されているかを求める →分類器を使わないので、ハイパラに左右されにくい！
- 44. 乱立するDisentanglement Metric ⚫ SAP (Separated Attribute Predictability) 線形回帰を行うことでハイパラに依存しないMetricの提案 (Factor VAE Metric以前に登場) ⚫ Modularity ModularityとExplicitnessを評価 Modularity：1つの因子に分解されているか Explicitness：ロジスティック回帰で容易に回帰できるか →容易に回帰可能なら説明性も高いという解釈 その他のDisentanglement Metric 44 Metric
- 45. 乱立するDisentanglement Metric ⚫ DCI Disentanglement (論文中では名称なし) Disentanglement、Completeness、Informativenessを評価 Lasso回帰またはランダムフォレスト分類器を用いる Disentanglement：因子分類において有益な潜在変数 Completeness：分類された因子のエントロピーの差 →どれだけ因子分解がしっかり行われているか Informativeness：分類器の予測誤差 →正しくDisentanglementできているか ⚫ MIG (Mutual Information Gap) 相互情報量の最も高い因子と次点の因子の差※ 現在最新のDisentanglementのMetric ※ 相互情報量は高いほどDisentanglementが出来ている その他のDisentanglement Metric 45 Metric
- 47. 47 ！？
- 48. 式分解戦国時代と評価尺度乱立の終止符！？ Disentangling Disentanglement(1/4) 48 VAE-based Disentanglementの新尺度 新目的関数の提案 State of the Art！！ 無限ループ、、、 Disentanglementの新問題設定
- 49. 式分解戦国時代と評価尺度乱立の終止符！？ Disentanglementの一般化へ、本来やりたいこととは？ Disentangling Disentanglement(2/4) 49 VAE-based 複雑なデータは潜在空間も同様に複雑であるはず 1. 1つの潜在変数の独立で済む因子(e.g. 太さ) 2. 潜在変数がセットで独立の必要がある因子(e.g. 人種) この二つを満たし、潜在空間の構造を正しく抽出するべきである
- 50. 式分解戦国時代と評価尺度乱立の終止符！？ Disentanglementの一般化へ、本来やりたいこととは？ 1. Disentanglementされた潜在変数を直感的に扱う 2. 潜在空間(潜在変数zが張る空間)の構造を正しく抽出する Disentangling Disentanglement(3/4) 50 VAE-based
- 51. 式分解戦国時代と評価尺度乱立の終止符！？ Disentanglementの一般化へ、本来やりたいこととは？ 1. Disentanglementされた潜在変数を直感的に使う 2. 潜在空間(潜在変数zが張る空間)の構造を正しく抽出する Disentangling Disentanglement(3/4) 51 VAE-based 既存手法は(1)のみに注力しており、(2)に着目していない
- 52. 式分解戦国時代と評価尺度乱立の終止符！？ Disentanglementの一般化へ、本来やりたいこととは？ 1. Disentanglementされた潜在変数を直感的に使う 2. 潜在空間(潜在変数zが張る空間)の構造を正しく抽出する Disentangling Disentanglement(3/4) 52 VAE-based (2)も同時に考えていくことでDisentanglementを一般化 Decomposition(分解)という語の提唱 β-VAEに(2)に対応する制約項を追加することでDecomposition 評価はFactorVAEのMetricを使用 ※ 式や式の意味の詳細はここでは省略します
- 54. ⚫ InfoGAN、β-VAEから始まるDisentanglement ⚫ 欠点を補うため、数々の理論的解析が行われてきた ⚫ 数々の問題設定ごとのMetricと新目的関数 ⚫ Disentanglementの一般化、Decompositionの提唱 このセクションのまとめ 54 VAE-based
- 55. Contents 55 Disentanglementの系譜、尺度、応用 i. ディスエンタングルメントの系譜 ii. 式分解戦国時代 iii. ディスエンタングルメントの評価尺度 iv. Go Beyond Disentanglement v. メタサーベイ
- 56. Contents 56 Disentanglementの系譜、尺度、応用 iv. Go Beyond Disentanglement Disentanglementの各タスクへの応用 ICLR2020速報 in Disentanglement
- 59. 変更したい属性のみ変換できるネットワーク 59 応用研究 Discriminatorに属性を判断させないように学習を進める この処理により潜在変数E(x)は属性不変の特徴となる FadNet(2/2)
- 60. 変更したい属性のみ変換できるネットワーク 出力画像を用いず潜在変数を用いてDisentanglementするので、 NLPや音など他のドメインにも適用可能！ 60 応用研究FadNet(2/2)
- 69. ICLR2020のDisentanglementの論文は36本！ 気になったものをピックアップ！！ 1. Unsupervised Distillation of Syntactic Information from Contextualized Word Representations 教師なしで文構造と文の意味のDisentanglementを達成 文構造が同じで意味が異なる構文を正しく分けれると主張 69 ICLR 2020ICLR2020速報 in Disentanglement
- 70. ICLR2020のDisentanglementの論文は36本！ 気になったものをピックアップ！！ 2. Embodied Multimodal Multitask Learning オブジェクトや位置関係をディスエンタングルメントすることで 身体を保持するエージェントがVQAを可能としている 70 ICLR 2020ICLR2020速報 in Disentanglement
- 71. ICLR2020のDisentanglementの論文は36本！ 気になったものをピックアップ！！ 3. Disentangling Improves VAEs' Robustness to Adversarial Attacks Adversarial Examplesへの頑健性をディスエンタングルメント された表現で向上させるという論文 71 ICLR 2020ICLR2020速報 in Disentanglement
- 72. Contents 72 Disentanglementの系譜、尺度、応用 i. ディスエンタングルメントの系譜 ii. 式分解戦国時代 iii. ディスエンタングルメントの評価尺度 iv. Go Beyond Disentanglement v. メタサーベイ
- 73. Disentanglementにて注目すべき研究者、研究機関 ＜研究者＞ ✓ Irina Higgins：DeepMind ✓ Alessandro Achille：University of California, Los Angeles ＜研究機関＞ ✓ DeepMind メタサーベイ 73 研究者, 研究機関
- 74. β-VAEの生みの親、Disentanglementのトップ研究者 Irina Higgins メタサーベイ 74 研究者, 研究機関 ⚫ DeepMind Research Scientist ⚫ Neuroscienceチーム所属 ⚫ Disentanglementの論文を数多く 生み出す ⚫ Higginsさんが共著に入っている 論文は良論文！
- 75. 神経科学と機械学習の融合、生物模倣のAIへ Alessandro Achille メタサーベイ 75 研究者, 研究機関 ⚫ UCLA PhD student ⚫ Computer Science Department ⚫ 神経科学的知見を機械学習に盛り 込むことで独創的な論文を執筆 ⚫ DeepMindインターンでは NeuroscienceチームでNeurIPSに 通している(Higginsさんも共著)
- 76. Googleが買収したトップAI Research集団 メタサーベイ 76 研究者, 研究機関 ⚫ 数多くのResearcherを雇い、トップカンファレンスに通 し続けるトップレベルの研究者集団 ⚫ Disentanglementの論文はNeuroscienceチーム だけでなく他のチームからの投稿されている (e.g. FactorVAE) ⚫ DeepMindの与える影響は強化学習だけに留まらない
- 77. ⚫ Disentanglementは様々な数理的解釈とMetricが 提案されてきたが、一般化が始まった ⚫ 応用研究では直感的な解釈の因子に分解して利用 する研究が多い ⚫ Disentanglementは人間の直感的解釈という位置 づけからも神経科学分野の研究者が強い まとめ 77
- 78. ⚫ 本発表用スライドは私のtwitterに載せています → @maguroIsland ⚫ 内容拡充をした完全版はCVPRの関係で12月にアップ する予定です 完全版公開について 78
- 79. 79 Thank you for attention