【DL輪読会】SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations

Mar 17, 2023Download as PPTX, PDF0 likes2,140 views

Deep Learning JP

2023/3/17 Deep Learning JP http://deeplearning.jp/seminar-2/

書誌情報
2
タイトル：SDEdit: Guided Image Synthesis and Editing with
Stochastic Differential Equations
著者：Chenlin Meng Yutong He Yang Song Jiaming Song
Jiajun Wu Jun-Yan Zhu Stefano Ermon
会議：ICLR. 2022

概要
タスク：人のスケッチなどのガイドに基づいた画像編集
3
例：スケッチから画像に
入力出力1 出力2 元画像眼鏡を
貼り付け
（入力）
出力
例：合成画像を綺麗に
従来の問題：編集の種類ごとに再学習をする必要がある
提案手法：stochastic differential equations model(SDEs)やDiffusionを利用
して再学習なしに，様々な編集を実現

関連研究（SDEs, Diffusion)
SDEsやDiffusionとは（ざっくり）：
ガウシアンノイズから徐々にノイズを除去することで綺麗な画像を生成するモ
デル．SDEsは𝑡が連続，Diffusionは𝑡が離散．
4
𝑥0
𝑥𝑡 𝑥𝑡−1
𝑥𝑇
ノイズ除去
(Reverse Diffusion Process)
ノイズ除去をモデルが学習
⋯ ⋯

提案手法
提案手法のアイデア：
“スケッチ画像”と“目的の画像”はノイズを加えるとほとんど同じになる．
この画像のノイズを除去していくと綺麗な画像が出力される．
𝑥0
𝑥𝑡 𝑥𝑡−1
ノイズ除去
(Reverse Diffusion Process)
⋯
ノイズにより
ほとんど同じ画像に

Faithful vs Realistic
元画像に対する忠実さ（Faithful)と現実らしさ(Realistic)の
トレードオフが画像編集にはある．
SDEditでは，ノイズの大きさ（ステップ数）によってコントロールする
6

実験結果
8
忠実さ
（元画像との誤差）
現実らしさ
(mechanical turkで
SDEditとどちらが良いかを選択）
現実らしさ
（指標の一つ）
すべての項目でSDEditが勝利

まとめ
まとめ
Diffusionモデルを利用して，様々な種類の画像編集をタスクごとの再学習なしで実現．非
常にシンプルだが，従来手法を上回る精度を実現．
所感
異常画像にノイズを加えて，Denoiseしたら正常画像が出てきそうなので異常検知にも使え
そうと思いました．
その他
3Dモデル生成[1]やShared Autonomy[2]でも，似たような処理をしているので，参考になるかもしれ
ません．
[1] Wang, Haochen, et al. "Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D Generation.”
[2] Takuma Yoneda, et al. “To the Noise and Back: Diffusion for Shared Autonomy.”
11

2020/6/11 画像センシングシンポジウムオーガナイズドセッション2 「限られたデータからの深層学習」 https://confit.atlas.jp/guide/event/ssii2020/static/organized#OS2 での招待講演資料です。コンピュータビジョン分野を中心とした転移学習についての講演です。パブリックなデータセットも増えていて、物体検出や領域分割などの研究も盛んですが、実際に社会実装しようとするときのデータは学習データと異なる性質（異なるドメイン）のデータである場合も非常に多いです。本講演では、そのような場合に有効なドメイン適応の原理となるアプローチ2つと応用としての物体検出と領域分割の事例を紹介しています。

【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"Deep Learning JP

SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII

SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法 6月10日 (木) 11:00 - 12:30 メイン会場（vimeo + sli.do）登壇者：松井孝太氏（名古屋大学）概要：転移学習とは、解きたいタスクに対して、それと異なるが似ている他のタスクからの知識（データ、特徴、モデルなど）を利用するための方法を与える機械学習のフレームワークです。深層モデルの学習方法として広く普及している事前学習モデルの利用は、この広義の転移学習の一つの実現形態とみなせます。本発表では、まず何をいつ転移するのか (what/when to transfer) といった転移学習の基本概念と定式化を説明し、具体的な転移学習の主要なアプローチとしてドメイン適応、メタ学習について解説します。

強化学習と逆強化学習を組み合わせた模倣学習Eiji Uchibe

GAN（と強化学習との関係）Masahiro Suzuki

This document discusses generative adversarial networks (GANs) and their relationship to reinforcement learning. It begins with an introduction to GANs, explaining how they can generate images without explicitly defining a probability distribution by using an adversarial training process. The second half discusses how GANs are related to actor-critic models and inverse reinforcement learning in reinforcement learning. It explains how GANs can be viewed as training a generator to fool a discriminator, similar to how policies are trained in reinforcement learning.

【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...Deep Learning JP

【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...Deep Learning JP

[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...Deep Learning JP

【DL輪読会】Is Conditional Generative Modeling All You Need For Decision-Making?Deep Learning JP

Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida

Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku

【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge

近年のHierarchical Vision TransformerYusuke Uchida

これからの Vision & Language ～ Acadexit した4つの理由Yoshitaka Ushiku

2019/2/23 ステアラボ人工知能シンポジウム2019 https://stair.connpass.com/event/113616/ での招待講演資料です。大層なタイトルですが前半は「Deep Learning による視覚×言語融合の最前線」と題して喋っている講演のダイジェスト版です。Acadexit した4つの理由はその後のパネルディスカッションにつなげるための頭出し程度の分量です。

【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...Deep Learning JP

SSII2022 [TS1] Transformerの最前線〜畳込みニューラルネットワークの先へ〜SSII

6/8 (水) 09:45～10:55メイン会場講師：牛久祥孝氏　　（オムロンサイニックエックス株式会社）概要： 2017年に機械翻訳を対象として提案されたTransformerは、従来の畳込みや再帰を排して自己注意機構を活用したニューラルネットワークである。2019年頃からコンピュータビジョン分野でも急速に応用が進んでおり、より柔軟かつ高精度なネットワーク構造としての地位を確立しつつある。本チュートリアルでは、Transformerおよびその周辺のネットワーク構造について、コンピュータビジョンへの応用を中心とした最前線を概説する。

How Much Position Information Do Convolutional Neural Networks Encode?Kazuyuki Miyazawa

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving PlannersDeep Learning JP

【DL輪読会】事前学習用データセットについてDeep Learning JP

More Related Content

What's hot (20)

深層生成モデルと世界モデルMasahiro Suzuki

【メタサーベイ】Neural Fieldscvpaper. challenge

【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDeep Learning JP

ドメイン適応の原理と応用Yoshitaka Ushiku

【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"Deep Learning JP

SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII

強化学習と逆強化学習を組み合わせた模倣学習Eiji Uchibe

GAN（と強化学習との関係）Masahiro Suzuki

【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...Deep Learning JP

【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...Deep Learning JP

[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...Deep Learning JP

【DL輪読会】Is Conditional Generative Modeling All You Need For Decision-Making?Deep Learning JP

Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida

Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku

【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge

近年のHierarchical Vision TransformerYusuke Uchida

これからの Vision & Language ～ Acadexit した4つの理由Yoshitaka Ushiku

【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...Deep Learning JP

SSII2022 [TS1] Transformerの最前線〜畳込みニューラルネットワークの先へ〜SSII

How Much Position Information Do Convolutional Neural Networks Encode?Kazuyuki Miyazawa

深層生成モデルと世界モデルMasahiro Suzuki

【メタサーベイ】Neural Fieldscvpaper. challenge

【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDeep Learning JP

ドメイン適応の原理と応用Yoshitaka Ushiku

【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"Deep Learning JP

SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII

強化学習と逆強化学習を組み合わせた模倣学習Eiji Uchibe

GAN（と強化学習との関係）Masahiro Suzuki

【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...Deep Learning JP

【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...Deep Learning JP

[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...Deep Learning JP

【DL輪読会】Is Conditional Generative Modeling All You Need For Decision-Making?Deep Learning JP

Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida

Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku

【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge

近年のHierarchical Vision TransformerYusuke Uchida

これからの Vision & Language ～ Acadexit した4つの理由Yoshitaka Ushiku

【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...Deep Learning JP

SSII2022 [TS1] Transformerの最前線〜畳込みニューラルネットワークの先へ〜SSII

How Much Position Information Do Convolutional Neural Networks Encode?Kazuyuki Miyazawa

More from Deep Learning JP (20)

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving PlannersDeep Learning JP

【DL輪読会】事前学習用データセットについてDeep Learning JP

【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...Deep Learning JP

【DL輪読会】Zero-Shot Dual-Lens Super-ResolutionDeep Learning JP

【DL輪読会】BloombergGPT: A Large Language Model for Finance arxivDeep Learning JP

【DL輪読会】マルチモーダル LLMDeep Learning JP

【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...Deep Learning JP

【DL輪読会】AnyLoc: Towards Universal Visual Place RecognitionDeep Learning JP

【DL輪読会】Can Neural Network Memorization Be Localized?Deep Learning JP

【DL輪読会】Hopfield network　関連研究についてDeep Learning JP

【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )Deep Learning JP

【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...Deep Learning JP

【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"Deep Learning JP

【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "Deep Learning JP

【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat ModelsDeep Learning JP

【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"Deep Learning JP

【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...Deep Learning JP

【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...Deep Learning JP

【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...Deep Learning JP

【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...Deep Learning JP