[DL輪読会]representation learning via invariant causal mechanisms

Sep 10, 2021Download as PPTX, PDF0 likes595 views

Deep Learning JP

2021/09/10 Deep Learning JP: http://deeplearning.jp/seminar-2/

書誌情報
● Representation Learning via Invariant Causal Mechanisms
● 著者：Jovana Mitrovic, Brian McWilliams, Jacob Walker, Lars Buesing, Charles Blundell
● 研究機関：DeepMind, Oct 2020(Arxiv)
● 概要
○ Contrastive Learning（CL）が上手くいっている理由を因果論で解釈する論文
○ データ拡張に注目して、画像のStyleがdowntasksに影響しないため（仮説のもとで）、
事前学習のTaskにおいても影響しないようにすれば良い
○ CLのLoss関数に、Styleによる影響を抑える制限を加える
○ 学習した表現の良さは､Baselineと同等だが、ロバスト性や汎化性が優れている
2

Representation Learning via Invariant Causal Mechanisms

BYOL
Representation Learning via Invariant Causal Mechanisms
Target Network

Reprensentation(Self-supervised) learningはMIだけでは解釈でき
ない
[DL輪読会]相互情報量最大化による表現学習、岩澤先生より

Representation Learning via Invariant Causal Mechanisms
Alignment and Uniformity on the Hypersphere

議論：仮説に異論はあるかもだが、(自分は)納得
できる
Representation Learning via Invariant Causal Mechanisms
Assumptions:
1. 画像(X)はコンテンツ(C)とスタイル(S)から生
成される
2. Cのみが下流タスク(Y_1...)に影響する
3. CとSはお互いに独立

理論上：Instance Classificationは最も難しいタス
クであり、これさえできれば、下流のどんなタス
クに対しても解けるはず。（証明付き）
自分の理解：個々の分類よりも細かい分類がない
Representation Learning via Invariant Causal Mechanisms
事前学習のタスク(Y^R)で表現f(X)を学習する。
Y^RはInstance Classification(入力画像と他の画像
と区別する)。

Representation Learning via Invariant Causal Mechanisms
Y^Rでf(X)で事前学習する際に、Sの変化による影
響を無くすように制限をかける。

Relationship between RELIC and other methods.

Linear evalution：線形分類のしやすさで表現の良さを評価
Fischer’s linear discriminant ratio(Friedman et al., 2009)
大きければ大きいほど、線形分離しやすい。
SimCLRより良いことがわかる。

Linear evalution：ImageNetで線形評価を行う（スタンダード）
２種類のArchitectureで、それぞれSOTAと同等程度な精度
- ただし、InfoMin AugとSwAVはより強力データ拡張を使
った。（5%ほど精度上げられるもの）
議論：より強力データ拡張を使った結果は気になる

ImageNet-R：ImageNetの画像を拡張したデータセット。
Top-1 Error%がSimCLRより低く、Supervisedより高い。
Robustness and Generalization

Robustness and Generalization
ImageNet-C：ImageNetの画像に異なる程度な異なるノイズを
加えたデータセット。
複数のError率では、SimCLRとBYOLより低い（良い）。

Reinforcement Learning
R2D2の入力画像に対する拡張で精度を比較。
（R2D2：RNN+DQN+Tricksで大幅当時のSOTAを超えた。）
感想：RLは普段しない実験で新鮮。CURLよりも良かった。

Related Work
A causal view of compositional zero-shot
recognition(NIPS 2020)
Self-Supervised Learning with Data
Augmentations Provably Isolates Content
from Style(Jun 2021)
ContentがStyleに影響する！を仮定する

まとめ：
- Self-supervised learning(Contrastive Learning)を因果の枠組みで解釈してみた研究。
- 特徴は、RELIC Lossが必要であることをを因果論？の数式で証明した(Appendixを参考)。
感想：
- Contrastive Learningの新しい手法がどんどん提案されているに対して、その理論解析の研究が少な
い(追いついていない)。
- 実装公開してほしい。

IBIS 2021 https://ibisml.org/ibis2021/ における最適輸送についてのチュートリアルスライドです。『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https://speakerdeck.com/joisino/zui-shi-shu-song-ru-men

PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築Kosuke Shinoda

[DL輪読会]Learning Transferable Visual Models From Natural Language SupervisionDeep Learning JP

畳み込みニューラルネットワークの高精度化と高速化Yusuke Uchida

2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている．本講演では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い，それぞれ解説を行う． Recent Advances in Convolutional Neural Networks and Accelerating DNNs 第21回ステアラボ人工知能セミナー講演資料 https://stair.connpass.com/event/126556/

[DL輪読会]Flow-based Deep Generative ModelsDeep Learning JP

【DL輪読会】Segment AnythingDeep Learning JP

SAM is a new segmentation model that can segment objects in images using natural language prompts. It was trained on over 1,100 datasets totaling over 10,000 images using a model-in-the-loop approach. SAM uses a transformer-based architecture with encoders for images, text, bounding boxes and masks. It achieves state-of-the-art zero-shot segmentation performance without any fine-tuning on target datasets.

「世界モデル」と関連研究についてMasahiro Suzuki

グラフニューラルネットワーク入門ryosuke-kojima

強化学習 DQNからPPOまでharmonylab

Transformer メタサーベイcvpaper. challenge

強化学習アルゴリズムPPOの解説と実験克海納谷

【DL輪読会】Scaling Laws for Neural Language ModelsDeep Learning JP

This document summarizes a research paper on scaling laws for neural language models. Some key findings of the paper include: - Language model performance depends strongly on model scale and weakly on model shape. With enough compute and data, performance scales as a power law of parameters, compute, and data. - Overfitting is universal, with penalties depending on the ratio of parameters to data. - Large models have higher sample efficiency and can reach the same performance levels with less optimization steps and data points. - The paper motivated subsequent work by OpenAI on applying scaling laws to other domains like computer vision and developing increasingly large language models like GPT-3.

実装レベルで学ぶVQVAEぱんいちすみもと

【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement LearningDeep Learning JP

StyleGAN解説 CVPR2019読み会@DeNAKento Doi

[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...Deep Learning JP

【DL輪読会】The Forward-Forward Algorithm: Some PreliminaryDeep Learning JP

最適輸送の解き方joisino

最適輸送問題（Wasserstein 距離）を解く方法についてのさまざまなアプローチ・アルゴリズムを紹介します。線形計画を使った定式化の基礎からはじめて、以下の五つのアルゴリズムを紹介します。 1. ネットワークシンプレックス法 2. ハンガリアン法 3. Sinkhorn アルゴリズム 4. ニューラルネットワークによる推定 5. スライス法このスライドは第三回 0x-seminar https://sites.google.com/view/uda-0x-seminar/home/0x03 で使用したものです。自己完結するよう心がけたのでセミナーに参加していない人にも役立つスライドになっています。『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https://speakerdeck.com/joisino/zui-shi-shu-song-nojie-kifang

強化学習の基礎と深層強化学習（東京大学松尾研究室深層強化学習サマースクール講義資料）Shota Imai

東京大学松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です．強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました．主に以下のような強化学習の概念やアルゴリズムの紹介をしています．・マルコフ決定過程・ベルマン方程式・モデルフリー強化学習・モデルベース強化学習・TD学習・Q学習・SARSA ・適格度トレース・関数近似・方策勾配法・方策勾配定理・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Network）・経験再生・Double DQN ・Prioritized Experience Replay ・Dueling Network ・Categorical DQN ・Noisy Network ・Rainbow ・A3C ・A2C ・Gorila ・Ape-X ・R2D2 ・内発的報酬・カウントベース・擬似カウントベース・RND（Random Network Distillation）・ICM（Intrinsic Curiosity Module）・Go-Explore ・世界モデル（World Models）・MuZero ・SimPLe ・NGU（Never Give Up）・Agent57 ・AlphaGo ・AlphaGo Zero ・AlphaZero ・OpenAI Five ・AlphaStar ・マルチエージェント強化学習

【DL輪読会】Scaling laws for single-agent reinforcement learningDeep Learning JP

【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action DiffusionDeep Learning JP

This document discusses a paper on visuomotor policy learning via action diffusion. The paper presents a method for training policies that map camera images directly to actions by incorporating action diffusion, which adds noise to actions during training. This helps explore the action space and avoid getting stuck in local optima during policy learning. The method can learn policies for complex manipulation tasks entirely from pixels using self-supervised reinforcement learning with image rewards.

報酬設計と逆強化学習Yusuke Nakata

【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP

Several recent papers have explored self-supervised learning methods for vision transformers (ViT). Key approaches include: 1. Masked prediction tasks that predict masked patches of the input image. 2. Contrastive learning using techniques like MoCo to learn representations by contrasting augmented views of the same image. 3. Self-distillation methods like DINO that distill a teacher ViT into a student ViT using different views of the same image. 4. Hybrid approaches that combine masked prediction with self-distillation, such as iBOT.

全力解説！TransformerArithmer Inc.

本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。 "Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise. The slides are made by the lecturer from outside our company, and shared here with his/her permission. Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。 Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.

[DL輪読会]NVAE: A Deep Hierarchical Variational AutoencoderDeep Learning JP

[DL輪読会]Disentangling by FactorisingDeep Learning JP

The document discusses FactorVAE, a method for disentangling latent representations in variational autoencoders (VAEs). It introduces Total Correlation (TC) as a penalty term that encourages independence between latent variables. TC is added to the standard VAE objective function to guide the model to learn disentangled representations. The document provides details on how TC is defined and computed based on the density-ratio trick from generative adversarial networks. It also discusses how FactorVAE uses TC to learn disentangled representations and can be evaluated using a disentanglement metric.

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving PlannersDeep Learning JP

【DL輪読会】事前学習用データセットについてDeep Learning JP

More Related Content

What's hot (20)

「世界モデル」と関連研究についてMasahiro Suzuki

グラフニューラルネットワーク入門ryosuke-kojima

強化学習 DQNからPPOまでharmonylab

Transformer メタサーベイcvpaper. challenge

強化学習アルゴリズムPPOの解説と実験克海納谷

【DL輪読会】Scaling Laws for Neural Language ModelsDeep Learning JP

実装レベルで学ぶVQVAEぱんいちすみもと

【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement LearningDeep Learning JP

StyleGAN解説 CVPR2019読み会@DeNAKento Doi

[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...Deep Learning JP

【DL輪読会】The Forward-Forward Algorithm: Some PreliminaryDeep Learning JP

最適輸送の解き方joisino

強化学習の基礎と深層強化学習（東京大学松尾研究室深層強化学習サマースクール講義資料）Shota Imai

【DL輪読会】Scaling laws for single-agent reinforcement learningDeep Learning JP

【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action DiffusionDeep Learning JP

報酬設計と逆強化学習Yusuke Nakata

【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP

全力解説！TransformerArithmer Inc.

[DL輪読会]NVAE: A Deep Hierarchical Variational AutoencoderDeep Learning JP

[DL輪読会]Disentangling by FactorisingDeep Learning JP

「世界モデル」と関連研究についてMasahiro Suzuki

グラフニューラルネットワーク入門ryosuke-kojima

強化学習 DQNからPPOまでharmonylab

Transformer メタサーベイcvpaper. challenge

強化学習アルゴリズムPPOの解説と実験克海納谷

【DL輪読会】Scaling Laws for Neural Language ModelsDeep Learning JP

実装レベルで学ぶVQVAEぱんいちすみもと

【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement LearningDeep Learning JP

StyleGAN解説 CVPR2019読み会@DeNAKento Doi

[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...Deep Learning JP

【DL輪読会】The Forward-Forward Algorithm: Some PreliminaryDeep Learning JP

最適輸送の解き方joisino

強化学習の基礎と深層強化学習（東京大学松尾研究室深層強化学習サマースクール講義資料）Shota Imai

【DL輪読会】Scaling laws for single-agent reinforcement learningDeep Learning JP

【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action DiffusionDeep Learning JP

報酬設計と逆強化学習Yusuke Nakata

【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP

全力解説！TransformerArithmer Inc.

[DL輪読会]NVAE: A Deep Hierarchical Variational AutoencoderDeep Learning JP

[DL輪読会]Disentangling by FactorisingDeep Learning JP

More from Deep Learning JP (20)

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving PlannersDeep Learning JP

【DL輪読会】事前学習用データセットについてDeep Learning JP

【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...Deep Learning JP

【DL輪読会】Zero-Shot Dual-Lens Super-ResolutionDeep Learning JP

【DL輪読会】BloombergGPT: A Large Language Model for Finance arxivDeep Learning JP

【DL輪読会】マルチモーダル LLMDeep Learning JP

【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...Deep Learning JP

【DL輪読会】AnyLoc: Towards Universal Visual Place RecognitionDeep Learning JP

【DL輪読会】Can Neural Network Memorization Be Localized?Deep Learning JP

【DL輪読会】Hopfield network　関連研究についてDeep Learning JP

【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )Deep Learning JP

【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...Deep Learning JP

【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "Deep Learning JP

【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat ModelsDeep Learning JP

【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"Deep Learning JP

【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...Deep Learning JP

【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...Deep Learning JP

【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...Deep Learning JP

【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...Deep Learning JP

【DL輪読会】VIP: Towards Universal Visual Reward and Representation via Value-Impl...Deep Learning JP