【DL輪読会】Flow Matching for Generative Modeling
Download as PPTX, PDF0 likes4,038 views
2023/5/19 Deep Learning JP http://deeplearning.jp/seminar-2/
![DEEP LEARNING JP
[DL Papers]
論文紹介：
Flow Matching for Generative Modeling
Ryosuke Ohashi, bestat Inc.
http://deeplearning.jp/](https://image.slidesharecdn.com/20230519ohashi-230519022320-f9ef0887/85/DL-Flow-Matching-for-Generative-Modeling-1-320.jpg)
![補足：CNF
5
CNF (Continuous Normalizing Flow) [Chen et al. 2018]
データ空間の可逆変換のなめらかな列{Φ_t}で，Φ_0=idかつ，Φ_1が事
前確率分布p_0からデータ確率分布p_1への変換を誘導するもののこと
p_0
※p1がΦ_1による確率密度の変数変
換公式に従い与えられる，ということ](https://image.slidesharecdn.com/20230519ohashi-230519022320-f9ef0887/85/DL-Flow-Matching-for-Generative-Modeling-5-320.jpg)
![具体例①
11
拡散条件付きベクトル場 (Diffusion Conditional Vector Fields)
とすると，
実はこれはODE版NCSN [Song et al. 2020]と同じCNFになっている
※ただし，Score MatchingではODEの係数の一部に現れるスコアのみをマッチングで求め，Flow
MatchingではODEの係数そのものをマッチングで求める，という違いがある](https://image.slidesharecdn.com/20230519ohashi-230519022320-f9ef0887/85/DL-Flow-Matching-for-Generative-Modeling-11-320.jpg)
![[DL輪読会]Flow-based Deep Generative Models](https://cdn.slidesharecdn.com/ss_thumbnails/20190307-190328024744-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]相互情報量最大化による表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/20190913iwasawa-190913002312-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...](https://cdn.slidesharecdn.com/ss_thumbnails/220204nonakadl1-220204025334-thumbnail.jpg?width=560&fit=bounds)
![SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法](https://cdn.slidesharecdn.com/ss_thumbnails/os2-02final-210610091211-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Temporal DifferenceVariationalAuto-Encoder](https://cdn.slidesharecdn.com/ss_thumbnails/20181130new-190205051636-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Diffusion-based Voice Conversion with Fast Maximum Likelihood Samplin...](https://cdn.slidesharecdn.com/ss_thumbnails/20220318akuzawa-220322065615-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder](https://cdn.slidesharecdn.com/ss_thumbnails/nvaeadeephierarchicalvariationalautoencoder-201113004930-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows](https://cdn.slidesharecdn.com/ss_thumbnails/swintransformer-210514020542-thumbnail.jpg?width=560&fit=bounds)
![SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習](https://cdn.slidesharecdn.com/ss_thumbnails/200611ssii2020os2weaksupervision-200609142553-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会] Towards an Automatic Turing Test: Learning to Evaluate Dialogue Respo...](https://cdn.slidesharecdn.com/ss_thumbnails/170925dlhackstowardsanautomaticturingtest-170925104902-thumbnail.jpg?width=560&fit=bounds)
Ad
More Related Content
What's hot (20)
Similar to 【DL輪読会】Flow Matching for Generative Modeling (20)
![[DL輪読会]Learning to Adapt: Meta-Learning for Model-Based Control](https://cdn.slidesharecdn.com/ss_thumbnails/20180511dl-180511004107-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning](https://cdn.slidesharecdn.com/ss_thumbnails/dl1211-191213002847-thumbnail.jpg?width=560&fit=bounds)
Ad
More from Deep Learning JP (20)
Ad
【DL輪読会】Flow Matching for Generative Modeling
- 1. DEEP LEARNING JP [DL Papers] 論文紹介： Flow Matching for Generative Modeling Ryosuke Ohashi, bestat Inc. http://deeplearning.jp/
- 2. 書誌情報 2 - ICLR2023 spotlight論文 - Diffusionモデルよりも効率良く訓練・サンプリングできるモデルを提案
- 3. 背景：Diffusionモデル 3 - 最近Diffusionモデルがめちゃ活躍している - 2D画像生成，動画生成，モーション生成，3Dモデル生成，… - Diffusionモデルの良い点・悪い点 - 良い点：安定した訓練，高品質＆多様性の高いサンプル生成 - 悪い点：訓練・サンプル生成に時間がかかる ⇒ 訓練・サンプル生成をもっと効率化できないか？
- 5. 補足：CNF 5 CNF (Continuous Normalizing Flow) [Chen et al. 2018] データ空間の可逆変換のなめらかな列{Φ_t}で，Φ_0=idかつ，Φ_1が事 前確率分布p_0からデータ確率分布p_1への変換を誘導するもののこと p_0 ※p1がΦ_1による確率密度の変数変 換公式に従い与えられる，ということ
- 6. 補足：CNF 6 実は，{Φ_t}を直接モデリングするより， その時間発展を記述するODEをモデリングしたほうが便利 v_t * Δt “=” Φ_(t+Δt) - Φ_t - v_tは可逆じゃなくてよい，解Φ_tは自動的に可逆になる - 複雑な変換Φよりも差分vのほうがMLPでフィッティングしやすい（ResNet的な）
- 7. Flow Matching 7 Flow Matchingでは，何らかのCNFを定めるu_tを，MLP v_tにより近似 （推定）することを試みる
- 8. Flow Matching 8 著者らは，データ分布qからのサンプルのみが与えられているとき，サンプル 毎の「条件付きベクトル場」の列を使ってCNFを構成＆訓練できることを示 した： ①各データ x_1 に対し，次をみたす条件付き確率の列 を考える ②境界確率分布の列を考える 構成により，p_0 = p，p_1はqの良い近似になっている (σ << 1)
- 9. Flow Matching 9 ③条件付き確率の列 を誘導する「条件付き」ベクトル場 を考える すると，次のベクトル場（が定めるODEの解）は，②の境界確率分布 の列を誘導する（論文中の定理１） ④u_tへのflow matchingは，以下のconditional flow matchingと同 値（論文中の定理２）
- 11. 具体例① 11 拡散条件付きベクトル場 (Diffusion Conditional Vector Fields) とすると， 実はこれはODE版NCSN [Song et al. 2020]と同じCNFになっている ※ただし，Score MatchingではODEの係数の一部に現れるスコアのみをマッチングで求め，Flow MatchingではODEの係数そのものをマッチングで求める，という違いがある
- 12. 具体例② 12 最適輸送条件付きベクトル場 (OT Conditional Vector Fields) とすると， このベクトル場は，最適輸送の理論でdisplacement interpolationと呼ば れる特別な変換になっているらしい
- 13. 実験結果 13 CIFAR-10，downsampled ImageNetの条件なし生成モデルの性能比較 Flow Matching w/ OT CVFsにより， 既存研究より高品質なサンプルを半分以下のサンプリングステップ数で生成 できることを実験的に示した
- 16. まとめ・感想 16 まとめ - CNFの新しい訓練アルゴリズム「Flow Matching」を提案 - Diffusionよりも効率的に訓練・サンプリングできるモデルを提案 感想 - Flow Matchingの定式化は幾何的にイメージしやすい点がいいと思った - 今後実際に何かに試してみたい
Editor's Notes
- #2: Beyond Reward Based End-to-End RL: Representation Learning and Dataset Optimization Perspective