SlideShare a Scribd company logo

Outrageously Large Neural Networks:The Sparsely-Gated Mixture-of-Experts Layerの紹介

Download as PPTX, PDF
K
KCS Keio Computer Society

KCS-AI班3/29の活動です． Outrageously Large Neural Networks:The Sparsely-Gated Mixture-of-Experts Layerの説明です．

1 of 15
Download to read offline
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer 論文紹介 Twitter:@UMU____
何の論文か？ • 混合エキスパート層(Mixture-of-Experts)をDNNに導入するこ とで，法外に(outrageously)大きいネットワークを，実現可能 な計算量に落とし込んで学習させることができた．という論文．
目次 • 大きなネットワークの必要性 • DNNの計算量について • 混合エキスパート層の構成 • 混合エキスパート層のゲート • （計算効率のための手法） • まとめ
大きなネットワークの必要性 • 自然言語処理や音声処理，画像処理を機械学習で扱う際，非常 に大きなデータセットと，非常に大きなネットワークを用いる ことで，性能が向上するということが経験的に知られている． GoogLeNet 1400万画像
DNNの計算量について • DNNの計算量は，データセットのサイズとネットワークのサイ ズに各々比例する．データセットとネットワークのサイズはど ちらも大きくなっていくので，結果的に二次のオーダーで計算 量が増える →大問題． ・そこで，ネットワークのサイズと計算量が比例しないようにす る方法が開発されてきた（先行研究） →手法：データがネットワークで処理される際，ネットワークの 大分部を通らないようにする．（疎なモデル）
混合エキスパート層の構成 • 本論文で使用されている「混合エキスパート層」は，複数のエ キスパート（ネットワーク）を，「ゲート」(Gating Network) を用いて，（連続的に）ON/OFFすることで，疎なモデルを実 現． • 混合エキスパートの手法自体は， 1990年代からある古いもの． SVMなど他の機械学習手法の適用例や， ゲートが離散的など， 様々なバリエーションが存在．
混合エキスパート層の構成 • エキスパート自体がNNと なっている． • 入力をx,出力をy，各エキス パートの関数を𝐸𝑖(𝑥)，ゲー トの関数を𝐺(𝑥)𝑖とすると， 混合エキスパート層全体で みた関数は， 𝑦 = 𝐸𝑖(𝑥)𝐺(𝑥)𝑖 となる．
混合エキスパート層の構成 • 本論文では，𝐸𝑖(𝑥)として隠 れ層1層とそれに付随した活 性化層ReLuを用いている．
混合エキスパート層の構成 𝑦 = 𝐸𝑖(𝑥) 𝐺(𝑥)𝑖 • 𝐺(𝑥)𝑖 = 0となる𝑖に対しては， 𝐸𝑖(𝑥)を計算する必要がない ので，疎なモデルが実現さ れている． • もちろん𝐺(𝑥)𝑖 = 0となる頻 度が少なければ意味がない ので，そのために細工をす る．
混合エキスパート層のゲート • ゲートもエキスパートと同様に（学習可能な）NNである． • ゲートとして考えられる関数としては， が考えられる（LSTMの選択ゲートと同じ）． • しかしながら，この関数は𝐺(𝑥)𝑖 = 0とならない． →KeepTopK関数を用いて，上位k個以外を－∞にした後， SoftMaxに通すことで解決． （これによって微分可能性が失われるが問題ないらしい）
混合エキスパート層のゲート • 加えて，負荷分散のために， KeepTopK関数を通す前にガウシ アンノイズを加えて，ゲートの完成．ガウシアンノイズの分散 はソフトプラス関数を活性化層に用いた単層NNを用いる．
負荷分散 • 負荷分散は，ゲートによって選択されるエキスパートが偏らな いようにするために行われる． ゲートの関数の中身以外にも，偏らないようにするために， Importance loss,load lossなどを損失関数に加えている． （正規化の一種？）
計算効率のための手法 ＜GPUプログラミングが分かる人向け＞ • この論文は計算効率のことを第一に考えている． →ハードウェアがGPUであることを考慮したアルゴリズムの設 計になっている． • エキスパートをすべてのGPUでそれぞれ保持するのではなく， エキスパートを分割して，特定のGPUはこの部分のエキスパー ト群を処理する．という仕組みになっている． • データ並列でスレッドを動かすと，GPUの性質から非効率なた め，エキスパート並列でスレッドを動かしている． （エキスパート以外はデータ並列．）
結果 • 論文参照．
まとめ • 従来のDNNに比べ，計算量の増大を抑えながらネットワークサ イズを飛躍的に増大させることができた． • また，それによって，性能向上がみられた．
Ad

Recommended

PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
Kosuke Shinoda
 
モデル高速化百選
モデル高速化百選モデル高速化百選
モデル高速化百選
Yusuke Uchida
 
NIPS2017読み会@PFN： Hierarchical Reinforcement Learning + α
NIPS2017読み会@PFN： Hierarchical Reinforcement Learning + αNIPS2017読み会@PFN： Hierarchical Reinforcement Learning + α
NIPS2017読み会@PFN： Hierarchical Reinforcement Learning + α
佑 甲野
 
SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～
SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～
SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～
SSII
 
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
 
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
 
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
Yasunori Ozaki
 
GAN（と強化学習との関係）
GAN（と強化学習との関係）GAN（と強化学習との関係）
GAN（と強化学習との関係）
Masahiro Suzuki
 
研究効率化Tips Ver.2
研究効率化Tips Ver.2研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
 
Deep Learningと画像認識 　 ～歴史・理論・実践～
Deep Learningと画像認識 　 ～歴史・理論・実践～Deep Learningと画像認識 　 ～歴史・理論・実践～
Deep Learningと画像認識 　 ～歴史・理論・実践～
nlab_utokyo
 
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
 
強化学習における好奇心
強化学習における好奇心強化学習における好奇心
強化学習における好奇心
Shota Imai
 
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
Shota Imai
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
 
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
Deep Learning JP
 
Point net
Point netPoint net
Point net
Fujimoto Keisuke
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
 
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
Deep Learning JP
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
 
[DL輪読会]World Models
[DL輪読会]World Models[DL輪読会]World Models
[DL輪読会]World Models
Deep Learning JP
 
画像認識のための深層学習
画像認識のための深層学習画像認識のための深層学習
画像認識のための深層学習
Saya Katafuchi
 
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
Deep Learning JP
 
Generative Models（メタサーベイ ）
Generative Models（メタサーベイ ）Generative Models（メタサーベイ ）
Generative Models（メタサーベイ ）
cvpaper. challenge
 
Active Learning 入門
Active Learning 入門Active Learning 入門
Active Learning 入門
Shuyo Nakatani
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
 
Random forest の解説
Random forest の解説Random forest の解説
Random forest の解説
KCS Keio Computer Society
 
Phonetic Posteriorgrams for Many-to-One Voice Conversion without Parallel Dat...
Phonetic Posteriorgrams for Many-to-One Voice Conversion without Parallel Dat...Phonetic Posteriorgrams for Many-to-One Voice Conversion without Parallel Dat...
Phonetic Posteriorgrams for Many-to-One Voice Conversion without Parallel Dat...
KCS Keio Computer Society
 
Ad

More Related Content

What's hot (20)

研究効率化Tips Ver.2
研究効率化Tips Ver.2研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
 
Deep Learningと画像認識 　 ～歴史・理論・実践～
Deep Learningと画像認識 　 ～歴史・理論・実践～Deep Learningと画像認識 　 ～歴史・理論・実践～
Deep Learningと画像認識 　 ～歴史・理論・実践～
nlab_utokyo
 
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
 
強化学習における好奇心
強化学習における好奇心強化学習における好奇心
強化学習における好奇心
Shota Imai
 
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
Shota Imai
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
 
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
Deep Learning JP
 
Point net
Point netPoint net
Point net
Fujimoto Keisuke
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
 
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
Deep Learning JP
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
 
[DL輪読会]World Models
[DL輪読会]World Models[DL輪読会]World Models
[DL輪読会]World Models
Deep Learning JP
 
画像認識のための深層学習
画像認識のための深層学習画像認識のための深層学習
画像認識のための深層学習
Saya Katafuchi
 
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
Deep Learning JP
 
Generative Models（メタサーベイ ）
Generative Models（メタサーベイ ）Generative Models（メタサーベイ ）
Generative Models（メタサーベイ ）
cvpaper. challenge
 
Active Learning 入門
Active Learning 入門Active Learning 入門
Active Learning 入門
Shuyo Nakatani
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
 
研究効率化Tips Ver.2
研究効率化Tips Ver.2研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
 
Deep Learningと画像認識 　 ～歴史・理論・実践～
Deep Learningと画像認識 　 ～歴史・理論・実践～Deep Learningと画像認識 　 ～歴史・理論・実践～
Deep Learningと画像認識 　 ～歴史・理論・実践～
nlab_utokyo
 
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
 
強化学習における好奇心
強化学習における好奇心強化学習における好奇心
強化学習における好奇心
Shota Imai
 
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
Shota Imai
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
 
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法
SSII
 
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
 
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
[DL輪読会]“Spatial Attention Point Network for Deep-learning-based Robust Autono...
Deep Learning JP
 
Point net
Point netPoint net
Point net
Fujimoto Keisuke
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
 
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning【DL輪読会】DayDreamer: World Models for Physical Robot Learning
【DL輪読会】DayDreamer: World Models for Physical Robot Learning
Deep Learning JP
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
 
[DL輪読会]World Models
[DL輪読会]World Models[DL輪読会]World Models
[DL輪読会]World Models
Deep Learning JP
 
画像認識のための深層学習
画像認識のための深層学習画像認識のための深層学習
画像認識のための深層学習
Saya Katafuchi
 
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
Deep Learning JP
 
Generative Models（メタサーベイ ）
Generative Models（メタサーベイ ）Generative Models（メタサーベイ ）
Generative Models（メタサーベイ ）
cvpaper. challenge
 
Active Learning 入門
Active Learning 入門Active Learning 入門
Active Learning 入門
Shuyo Nakatani
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
 

Viewers also liked (20)

Random forest の解説
Random forest の解説Random forest の解説
Random forest の解説
KCS Keio Computer Society
 
Phonetic Posteriorgrams for Many-to-One Voice Conversion without Parallel Dat...
Phonetic Posteriorgrams for Many-to-One Voice Conversion without Parallel Dat...Phonetic Posteriorgrams for Many-to-One Voice Conversion without Parallel Dat...
Phonetic Posteriorgrams for Many-to-One Voice Conversion without Parallel Dat...
KCS Keio Computer Society
 
AI班ハードウェア領域
AI班ハードウェア領域AI班ハードウェア領域
AI班ハードウェア領域
KCS Keio Computer Society
 
Image-to-Image Translation with Conditional Adversarial Networksの紹介
Image-to-Image Translation with Conditional Adversarial Networksの紹介Image-to-Image Translation with Conditional Adversarial Networksの紹介
Image-to-Image Translation with Conditional Adversarial Networksの紹介
KCS Keio Computer Society
 
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
KCS Keio Computer Society
 
“Why Should I Trust You?” Explaining the Predictions of Any Classifierの紹介
“Why Should I Trust You?” Explaining the Predictions of Any Classifierの紹介“Why Should I Trust You?” Explaining the Predictions of Any Classifierの紹介
“Why Should I Trust You?” Explaining the Predictions of Any Classifierの紹介
KCS Keio Computer Society
 
Depth Creates No Bad Local Minimaの紹介
Depth Creates No Bad Local Minimaの紹介Depth Creates No Bad Local Minimaの紹介
Depth Creates No Bad Local Minimaの紹介
KCS Keio Computer Society
 
PRML10.1〜10.4 大域的変分推論法の紹介
PRML10.1〜10.4 大域的変分推論法の紹介PRML10.1〜10.4 大域的変分推論法の紹介
PRML10.1〜10.4 大域的変分推論法の紹介
KCS Keio Computer Society
 
TDAの概要と適用・有用性
TDAの概要と適用・有用性TDAの概要と適用・有用性
TDAの概要と適用・有用性
KCS Keio Computer Society
 
Unsupervised Image-to-Image Translation Networksの紹介
Unsupervised Image-to-Image Translation Networksの紹介Unsupervised Image-to-Image Translation Networksの紹介
Unsupervised Image-to-Image Translation Networksの紹介
KCS Keio Computer Society
 
ハミルトニアンモンテカルロ法についての説明
ハミルトニアンモンテカルロ法についての説明ハミルトニアンモンテカルロ法についての説明
ハミルトニアンモンテカルロ法についての説明
KCS Keio Computer Society
 
木をめぐる混乱について
木をめぐる混乱について木をめぐる混乱について
木をめぐる混乱について
Ryuichi Tanabe
 
距離情報に基づく局所特徴量によるリアルタイム人検出
距離情報に基づく局所特徴量によるリアルタイム人検出距離情報に基づく局所特徴量によるリアルタイム人検出
距離情報に基づく局所特徴量によるリアルタイム人検出
MPRG_Chubu_University
 
クラシックな機械学習の入門　　9. モデル推定
クラシックな機械学習の入門　　9. モデル推定クラシックな機械学習の入門　　9. モデル推定
クラシックな機械学習の入門　　9. モデル推定
Hiroshi Nakagawa
 
Response Summarizer: An Automatic Summarization System of Call Center Convers...
Response Summarizer: An Automatic Summarization System of Call Center Convers...Response Summarizer: An Automatic Summarization System of Call Center Convers...
Response Summarizer: An Automatic Summarization System of Call Center Convers...
Preferred Networks
 
対話における商品の営業
対話における商品の営業対話における商品の営業
対話における商品の営業
Preferred Networks
 
クラシックな機械学習入門　１　導入
クラシックな機械学習入門　１　導入クラシックな機械学習入門　１　導入
クラシックな機械学習入門　１　導入
Hiroshi Nakagawa
 
Generation of 3D-avatar animation from latent representations
Generation of 3D-avatar animation from latent representationsGeneration of 3D-avatar animation from latent representations
Generation of 3D-avatar animation from latent representations
Preferred Networks
 
Tutorial of topological_data_analysis_part_1(basic)
Tutorial of topological_data_analysis_part_1(basic)Tutorial of topological_data_analysis_part_1(basic)
Tutorial of topological_data_analysis_part_1(basic)
Ha Phuong
 
Bayesian Dark Knowledge and Matrix Factorization
Bayesian Dark Knowledge and Matrix FactorizationBayesian Dark Knowledge and Matrix Factorization
Bayesian Dark Knowledge and Matrix Factorization
Preferred Networks
 
Random forest の解説
Random forest の解説Random forest の解説
Random forest の解説
KCS Keio Computer Society
 
Phonetic Posteriorgrams for Many-to-One Voice Conversion without Parallel Dat...
Phonetic Posteriorgrams for Many-to-One Voice Conversion without Parallel Dat...Phonetic Posteriorgrams for Many-to-One Voice Conversion without Parallel Dat...
Phonetic Posteriorgrams for Many-to-One Voice Conversion without Parallel Dat...
KCS Keio Computer Society
 
AI班ハードウェア領域
AI班ハードウェア領域AI班ハードウェア領域
AI班ハードウェア領域
KCS Keio Computer Society
 
Image-to-Image Translation with Conditional Adversarial Networksの紹介
Image-to-Image Translation with Conditional Adversarial Networksの紹介Image-to-Image Translation with Conditional Adversarial Networksの紹介
Image-to-Image Translation with Conditional Adversarial Networksの紹介
KCS Keio Computer Society
 
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
U-Net: Convolutional Networks for Biomedical Image Segmentationの紹介
KCS Keio Computer Society
 
“Why Should I Trust You?” Explaining the Predictions of Any Classifierの紹介
“Why Should I Trust You?” Explaining the Predictions of Any Classifierの紹介“Why Should I Trust You?” Explaining the Predictions of Any Classifierの紹介
“Why Should I Trust You?” Explaining the Predictions of Any Classifierの紹介
KCS Keio Computer Society
 
Depth Creates No Bad Local Minimaの紹介
Depth Creates No Bad Local Minimaの紹介Depth Creates No Bad Local Minimaの紹介
Depth Creates No Bad Local Minimaの紹介
KCS Keio Computer Society
 
PRML10.1〜10.4 大域的変分推論法の紹介
PRML10.1〜10.4 大域的変分推論法の紹介PRML10.1〜10.4 大域的変分推論法の紹介
PRML10.1〜10.4 大域的変分推論法の紹介
KCS Keio Computer Society
 
TDAの概要と適用・有用性
TDAの概要と適用・有用性TDAの概要と適用・有用性
TDAの概要と適用・有用性
KCS Keio Computer Society
 
Unsupervised Image-to-Image Translation Networksの紹介
Unsupervised Image-to-Image Translation Networksの紹介Unsupervised Image-to-Image Translation Networksの紹介
Unsupervised Image-to-Image Translation Networksの紹介
KCS Keio Computer Society
 
ハミルトニアンモンテカルロ法についての説明
ハミルトニアンモンテカルロ法についての説明ハミルトニアンモンテカルロ法についての説明
ハミルトニアンモンテカルロ法についての説明
KCS Keio Computer Society
 
木をめぐる混乱について
木をめぐる混乱について木をめぐる混乱について
木をめぐる混乱について
Ryuichi Tanabe
 
距離情報に基づく局所特徴量によるリアルタイム人検出
距離情報に基づく局所特徴量によるリアルタイム人検出距離情報に基づく局所特徴量によるリアルタイム人検出
距離情報に基づく局所特徴量によるリアルタイム人検出
MPRG_Chubu_University
 
クラシックな機械学習の入門　　9. モデル推定
クラシックな機械学習の入門　　9. モデル推定クラシックな機械学習の入門　　9. モデル推定
クラシックな機械学習の入門　　9. モデル推定
Hiroshi Nakagawa
 
Response Summarizer: An Automatic Summarization System of Call Center Convers...
Response Summarizer: An Automatic Summarization System of Call Center Convers...Response Summarizer: An Automatic Summarization System of Call Center Convers...
Response Summarizer: An Automatic Summarization System of Call Center Convers...
Preferred Networks
 
対話における商品の営業
対話における商品の営業対話における商品の営業
対話における商品の営業
Preferred Networks
 
クラシックな機械学習入門　１　導入
クラシックな機械学習入門　１　導入クラシックな機械学習入門　１　導入
クラシックな機械学習入門　１　導入
Hiroshi Nakagawa
 
Generation of 3D-avatar animation from latent representations
Generation of 3D-avatar animation from latent representationsGeneration of 3D-avatar animation from latent representations
Generation of 3D-avatar animation from latent representations
Preferred Networks
 
Tutorial of topological_data_analysis_part_1(basic)
Tutorial of topological_data_analysis_part_1(basic)Tutorial of topological_data_analysis_part_1(basic)
Tutorial of topological_data_analysis_part_1(basic)
Ha Phuong
 
Bayesian Dark Knowledge and Matrix Factorization
Bayesian Dark Knowledge and Matrix FactorizationBayesian Dark Knowledge and Matrix Factorization
Bayesian Dark Knowledge and Matrix Factorization
Preferred Networks
 
Ad

Similar to Outrageously Large Neural Networks:The Sparsely-Gated Mixture-of-Experts Layerの紹介 (20)

Deep Forest: Towards An Alternative to Deep Neural Networks
Deep Forest: Towards An Alternative to Deep Neural NetworksDeep Forest: Towards An Alternative to Deep Neural Networks
Deep Forest: Towards An Alternative to Deep Neural Networks
harmonylab
 
効率的学習 / Efficient Training（メタサーベイ）
効率的学習 / Efficient Training（メタサーベイ）効率的学習 / Efficient Training（メタサーベイ）
効率的学習 / Efficient Training（メタサーベイ）
cvpaper. challenge
 
いきなりAi　tensor flow gpuによる画像分類と生成
いきなりAi　tensor flow gpuによる画像分類と生成いきなりAi　tensor flow gpuによる画像分類と生成
いきなりAi　tensor flow gpuによる画像分類と生成
Yoshi Sakai
 
エヌビディアが加速するディープラーニング ～進化するニューラルネットワークとその開発方法について～
エヌビディアが加速するディープラーニング ～進化するニューラルネットワークとその開発方法について～エヌビディアが加速するディープラーニング ～進化するニューラルネットワークとその開発方法について～
エヌビディアが加速するディープラーニング ～進化するニューラルネットワークとその開発方法について～
NVIDIA Japan
 
Densely Connected Convolutional Networks
Densely Connected Convolutional NetworksDensely Connected Convolutional Networks
Densely Connected Convolutional Networks
harmonylab
 
FastDepth: Fast Monocular Depth Estimation on Embedded Systems
FastDepth: Fast Monocular Depth Estimation on Embedded SystemsFastDepth: Fast Monocular Depth Estimation on Embedded Systems
FastDepth: Fast Monocular Depth Estimation on Embedded Systems
harmonylab
 
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用
Kazuki Fujikawa
 
Kazumasa Sakiyama Bachelor Thesis
Kazumasa Sakiyama Bachelor ThesisKazumasa Sakiyama Bachelor Thesis
Kazumasa Sakiyama Bachelor Thesis
pflab
 
Getting Started with Deep Learning using Scala
Getting Started with Deep Learning using ScalaGetting Started with Deep Learning using Scala
Getting Started with Deep Learning using Scala
Taisuke Oe
 
論文紹介：Dueling network architectures for deep reinforcement learning
論文紹介：Dueling network architectures for deep reinforcement learning論文紹介：Dueling network architectures for deep reinforcement learning
論文紹介：Dueling network architectures for deep reinforcement learning
Kazuki Adachi
 
MIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearningMIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearning
Takayoshi Yamashita
 
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
cvpaper. challenge
 
ICLR2020読み会 (neural-tangents)
ICLR2020読み会 (neural-tangents)ICLR2020読み会 (neural-tangents)
ICLR2020読み会 (neural-tangents)
RyuichiKanoh
 
DAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hare
DAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hareDAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hare
DAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hare
Preferred Networks
 
Mxnetによるデープラーニングでセミの抜け殻を識別する
Mxnetによるデープラーニングでセミの抜け殻を識別するMxnetによるデープラーニングでセミの抜け殻を識別する
Mxnetによるデープラーニングでセミの抜け殻を識別する
dokechin
 
20160901 jwein
20160901 jwein20160901 jwein
20160901 jwein
tm1966
 
自律連合型基盤システムの構築
自律連合型基盤システムの構築自律連合型基盤システムの構築
自律連合型基盤システムの構築
Kazuhiko Kato
 
TabNetの論文紹介
TabNetの論文紹介TabNetの論文紹介
TabNetの論文紹介
西岡 賢一郎
 
Image net classification　with Deep Convolutional Neural Networks
Image net classification　with Deep Convolutional Neural NetworksImage net classification　with Deep Convolutional Neural Networks
Image net classification　with Deep Convolutional Neural Networks
Shingo Horiuchi
 
20180729 Preferred Networksの機械学習クラスタを支える技術
20180729 Preferred Networksの機械学習クラスタを支える技術20180729 Preferred Networksの機械学習クラスタを支える技術
20180729 Preferred Networksの機械学習クラスタを支える技術
Preferred Networks
 
Deep Forest: Towards An Alternative to Deep Neural Networks
Deep Forest: Towards An Alternative to Deep Neural NetworksDeep Forest: Towards An Alternative to Deep Neural Networks
Deep Forest: Towards An Alternative to Deep Neural Networks
harmonylab
 
効率的学習 / Efficient Training（メタサーベイ）
効率的学習 / Efficient Training（メタサーベイ）効率的学習 / Efficient Training（メタサーベイ）
効率的学習 / Efficient Training（メタサーベイ）
cvpaper. challenge
 
いきなりAi　tensor flow gpuによる画像分類と生成
いきなりAi　tensor flow gpuによる画像分類と生成いきなりAi　tensor flow gpuによる画像分類と生成
いきなりAi　tensor flow gpuによる画像分類と生成
Yoshi Sakai
 
エヌビディアが加速するディープラーニング ～進化するニューラルネットワークとその開発方法について～
エヌビディアが加速するディープラーニング ～進化するニューラルネットワークとその開発方法について～エヌビディアが加速するディープラーニング ～進化するニューラルネットワークとその開発方法について～
エヌビディアが加速するディープラーニング ～進化するニューラルネットワークとその開発方法について～
NVIDIA Japan
 
Densely Connected Convolutional Networks
Densely Connected Convolutional NetworksDensely Connected Convolutional Networks
Densely Connected Convolutional Networks
harmonylab
 
FastDepth: Fast Monocular Depth Estimation on Embedded Systems
FastDepth: Fast Monocular Depth Estimation on Embedded SystemsFastDepth: Fast Monocular Depth Estimation on Embedded Systems
FastDepth: Fast Monocular Depth Estimation on Embedded Systems
harmonylab
 
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用
Kazuki Fujikawa
 
Kazumasa Sakiyama Bachelor Thesis
Kazumasa Sakiyama Bachelor ThesisKazumasa Sakiyama Bachelor Thesis
Kazumasa Sakiyama Bachelor Thesis
pflab
 
Getting Started with Deep Learning using Scala
Getting Started with Deep Learning using ScalaGetting Started with Deep Learning using Scala
Getting Started with Deep Learning using Scala
Taisuke Oe
 
論文紹介：Dueling network architectures for deep reinforcement learning
論文紹介：Dueling network architectures for deep reinforcement learning論文紹介：Dueling network architectures for deep reinforcement learning
論文紹介：Dueling network architectures for deep reinforcement learning
Kazuki Adachi
 
MIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearningMIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearning
Takayoshi Yamashita
 
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
【CVPR 2020 メタサーベイ】Efficient Training and Inference Methods for Networks
cvpaper. challenge
 
ICLR2020読み会 (neural-tangents)
ICLR2020読み会 (neural-tangents)ICLR2020読み会 (neural-tangents)
ICLR2020読み会 (neural-tangents)
RyuichiKanoh
 
DAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hare
DAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hareDAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hare
DAシンポジウム2019招待講演「深層学習モデルの高速なTraining/InferenceのためのHW/SW技術」 金子紘也hare
Preferred Networks
 
Mxnetによるデープラーニングでセミの抜け殻を識別する
Mxnetによるデープラーニングでセミの抜け殻を識別するMxnetによるデープラーニングでセミの抜け殻を識別する
Mxnetによるデープラーニングでセミの抜け殻を識別する
dokechin
 
20160901 jwein
20160901 jwein20160901 jwein
20160901 jwein
tm1966
 
自律連合型基盤システムの構築
自律連合型基盤システムの構築自律連合型基盤システムの構築
自律連合型基盤システムの構築
Kazuhiko Kato
 
TabNetの論文紹介
TabNetの論文紹介TabNetの論文紹介
TabNetの論文紹介
西岡 賢一郎
 
Image net classification　with Deep Convolutional Neural Networks
Image net classification　with Deep Convolutional Neural NetworksImage net classification　with Deep Convolutional Neural Networks
Image net classification　with Deep Convolutional Neural Networks
Shingo Horiuchi
 
20180729 Preferred Networksの機械学習クラスタを支える技術
20180729 Preferred Networksの機械学習クラスタを支える技術20180729 Preferred Networksの機械学習クラスタを支える技術
20180729 Preferred Networksの機械学習クラスタを支える技術
Preferred Networks
 
Ad

More from KCS Keio Computer Society (20)

Large scale gan training for high fidelity natural
Large scale gan training for high fidelity naturalLarge scale gan training for high fidelity natural
Large scale gan training for high fidelity natural
KCS Keio Computer Society
 
Imagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towardsImagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towards
KCS Keio Computer Society
 
機械学習ゼミ: Area attenttion
機械学習ゼミ: Area attenttion機械学習ゼミ: Area attenttion
機械学習ゼミ: Area attenttion
KCS Keio Computer Society
 
機械学習ゼミ 2018/10/17
機械学習ゼミ 2018/10/17機械学習ゼミ 2018/10/17
機械学習ゼミ 2018/10/17
KCS Keio Computer Society
 
機械学習ゼミ2018 06 15
機械学習ゼミ2018 06 15機械学習ゼミ2018 06 15
機械学習ゼミ2018 06 15
KCS Keio Computer Society
 
Control by deep learning
Control by deep learningControl by deep learning
Control by deep learning
KCS Keio Computer Society
 
深層学習　第6章
深層学習　第6章深層学習　第6章
深層学習　第6章
KCS Keio Computer Society
 
Vector-Based navigation using grid-like representations in artificial agents
Vector-Based navigation using grid-like representations in artificial agents Vector-Based navigation using grid-like representations in artificial agents
Vector-Based navigation using grid-like representations in artificial agents
KCS Keio Computer Society
 
文章生成の未解決問題
文章生成の未解決問題文章生成の未解決問題
文章生成の未解決問題
KCS Keio Computer Society
 
Word2vec alpha
Word2vec alphaWord2vec alpha
Word2vec alpha
KCS Keio Computer Society
 
テンソル代数
テンソル代数テンソル代数
テンソル代数
KCS Keio Computer Society
 
Hindsight experience replay
Hindsight experience replayHindsight experience replay
Hindsight experience replay
KCS Keio Computer Society
 
Kml 輪読514
Kml 輪読514Kml 輪読514
Kml 輪読514
KCS Keio Computer Society
 
ゼロから作るDeepLearning 5章 輪読
ゼロから作るDeepLearning 5章 輪読ゼロから作るDeepLearning 5章 輪読
ゼロから作るDeepLearning 5章 輪読
KCS Keio Computer Society
 
ELBO型VAEのダメなところ
ELBO型VAEのダメなところELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
 
ゼロから作るDeepLearning 2～3章 輪読
ゼロから作るDeepLearning 2～3章 輪読ゼロから作るDeepLearning 2～3章 輪読
ゼロから作るDeepLearning 2～3章 輪読
KCS Keio Computer Society
 
ゼロから作るDeepLearning 4章 輪読
ゼロから作るDeepLearning 4章 輪読ゼロから作るDeepLearning 4章 輪読
ゼロから作るDeepLearning 4章 輪読
KCS Keio Computer Society
 
Soft Actor Critic 解説
Soft Actor Critic 解説Soft Actor Critic 解説
Soft Actor Critic 解説
KCS Keio Computer Society
 
ゼロから作るDeepLearning 3.3~3.6章 輪読
ゼロから作るDeepLearning 3.3~3.6章 輪読ゼロから作るDeepLearning 3.3~3.6章 輪読
ゼロから作るDeepLearning 3.3~3.6章 輪読
KCS Keio Computer Society
 
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
KCS Keio Computer Society
 
Large scale gan training for high fidelity natural
Large scale gan training for high fidelity naturalLarge scale gan training for high fidelity natural
Large scale gan training for high fidelity natural
KCS Keio Computer Society
 
Imagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towardsImagenet trained cnns-are_biased_towards
Imagenet trained cnns-are_biased_towards
KCS Keio Computer Society
 
機械学習ゼミ: Area attenttion
機械学習ゼミ: Area attenttion機械学習ゼミ: Area attenttion
機械学習ゼミ: Area attenttion
KCS Keio Computer Society
 
機械学習ゼミ 2018/10/17
機械学習ゼミ 2018/10/17機械学習ゼミ 2018/10/17
機械学習ゼミ 2018/10/17
KCS Keio Computer Society
 
機械学習ゼミ2018 06 15
機械学習ゼミ2018 06 15機械学習ゼミ2018 06 15
機械学習ゼミ2018 06 15
KCS Keio Computer Society
 
Control by deep learning
Control by deep learningControl by deep learning
Control by deep learning
KCS Keio Computer Society
 
深層学習　第6章
深層学習　第6章深層学習　第6章
深層学習　第6章
KCS Keio Computer Society
 
Vector-Based navigation using grid-like representations in artificial agents
Vector-Based navigation using grid-like representations in artificial agents Vector-Based navigation using grid-like representations in artificial agents
Vector-Based navigation using grid-like representations in artificial agents
KCS Keio Computer Society
 
文章生成の未解決問題
文章生成の未解決問題文章生成の未解決問題
文章生成の未解決問題
KCS Keio Computer Society
 
Word2vec alpha
Word2vec alphaWord2vec alpha
Word2vec alpha
KCS Keio Computer Society
 
テンソル代数
テンソル代数テンソル代数
テンソル代数
KCS Keio Computer Society
 
Hindsight experience replay
Hindsight experience replayHindsight experience replay
Hindsight experience replay
KCS Keio Computer Society
 
Kml 輪読514
Kml 輪読514Kml 輪読514
Kml 輪読514
KCS Keio Computer Society
 
ゼロから作るDeepLearning 5章 輪読
ゼロから作るDeepLearning 5章 輪読ゼロから作るDeepLearning 5章 輪読
ゼロから作るDeepLearning 5章 輪読
KCS Keio Computer Society
 
ELBO型VAEのダメなところ
ELBO型VAEのダメなところELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
 
ゼロから作るDeepLearning 2～3章 輪読
ゼロから作るDeepLearning 2～3章 輪読ゼロから作るDeepLearning 2～3章 輪読
ゼロから作るDeepLearning 2～3章 輪読
KCS Keio Computer Society
 
ゼロから作るDeepLearning 4章 輪読
ゼロから作るDeepLearning 4章 輪読ゼロから作るDeepLearning 4章 輪読
ゼロから作るDeepLearning 4章 輪読
KCS Keio Computer Society
 
Soft Actor Critic 解説
Soft Actor Critic 解説Soft Actor Critic 解説
Soft Actor Critic 解説
KCS Keio Computer Society
 
ゼロから作るDeepLearning 3.3~3.6章 輪読
ゼロから作るDeepLearning 3.3~3.6章 輪読ゼロから作るDeepLearning 3.3~3.6章 輪読
ゼロから作るDeepLearning 3.3~3.6章 輪読
KCS Keio Computer Society
 
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry
KCS Keio Computer Society
 

Outrageously Large Neural Networks:The Sparsely-Gated Mixture-of-Experts Layerの紹介