[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
Download as PPTX, PDF2 likes5,297 views
2019/06/21 Deep Learning JP: http://deeplearning.jp/seminar-2/
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
EfficientNet: Rethinking Model Scaling for
Convolutional Neural Networks (ICML2019)
MasashiYokota, RESTAR Inc.](https://image.slidesharecdn.com/yokota20190621dlhack-190621022108/85/DL-EfficientNet-Rethinking-Model-Scaling-for-Convolutional-Neural-Networks-1-320.jpg)
![1. 背景
ハイパーパラメータ: 多
チューニングコスト: 大
4
莫大なパラメータを持つネットワークは
数多く提案されている
Gpipe [Huang et. al. 2018]より引用](https://image.slidesharecdn.com/yokota20190621dlhack-190621022108/85/DL-EfficientNet-Rethinking-Model-Scaling-for-Convolutional-Neural-Networks-4-320.jpg)
![2.1. 関連研究 (枝切り・量子化等によるモデル圧縮)
Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman
Coding [Han et. al. ICLR2016]
• 大きなモデルをscale downしてモデルを効率化する。具体的には、枝
切り、量子化、ハフマン符号化を同時に行うことで精度を落とさず
AlexNetとVGG-16をそれぞれ35倍、49倍圧縮した。 8](https://image.slidesharecdn.com/yokota20190621dlhack-190621022108/85/DL-EfficientNet-Rethinking-Model-Scaling-for-Convolutional-Neural-Networks-8-320.jpg)
![• モバイル端末用のモデルのネットワーク構造探索を強化学習で
行った研究。精度とモバイル端末のレイテンシ双方を考慮した指
標を提案し、それを報酬として強化学習を行うことで、
実行環境に最適なモデルを自動構築する。 9
2.2. 関連研究 (探索によるモデル構築)
MnasNet: Platform-Aware Neural Architecture Search for Mobile
[Tan et. al. CVPR2019]](https://image.slidesharecdn.com/yokota20190621dlhack-190621022108/85/DL-EfficientNet-Rethinking-Model-Scaling-for-Convolutional-Neural-Networks-9-320.jpg)
![3.2.3. Resolution (r)
• Resolution(r): 解像度
• 初期CNNのImageNet入力画像解
像度は224x224であり、そこから
480x480(ex. Gpipe [Huang et. al.
2018])まで大きくなっている。それ
に比例し良い性能を達成している。
• 一方で、rが大きくなるにつれ多様
な特徴量を獲得できるようにモデ
ルのパラメータ数も増やす必要が
ある。
19
※ r=1.0の時: 解像度224x224
r=2.5の時: 解像度560x560](https://image.slidesharecdn.com/yokota20190621dlhack-190621022108/85/DL-EfficientNet-Rethinking-Model-Scaling-for-Convolutional-Neural-Networks-19-320.jpg)
![3.4.2. [Step1] ベースモデルのアーキテクチャ探索
• 本提案手法はベースモデルをscale upしていくためモデルはでき
るだけ筋が良いモデルである必要がある。
→MNasNetを用いて精度とFLOPS双方を実現できるモデルを構
築する。この際に以下を報酬としてモデル探索を行う。
26
𝑚: モデル
𝑇: ターゲット𝐹𝐿𝑂𝑃𝑆
𝜔(=−0.07): ACCとFLOPSの
バランスを取るハイパーパラメータ](https://image.slidesharecdn.com/yokota20190621dlhack-190621022108/85/DL-EfficientNet-Rethinking-Model-Scaling-for-Convolutional-Neural-Networks-26-320.jpg)
![3.4.3 [Step1] 探索によって得られたアーキテクチャ
• squeeze-and-excitationを持つmobile inverted bottleneck
MBConvをメインに構成されている18層CNN 27](https://image.slidesharecdn.com/yokota20190621dlhack-190621022108/85/DL-EfficientNet-Rethinking-Model-Scaling-for-Convolutional-Neural-Networks-27-320.jpg)
![3.4.4 [Step2-3] パラメータチューニング
1. α,β,γの探索:
φ=1で固定し、α,β,γをグリッドサーチする
※ グリッドサーチしていているが、小さいCNNかつ
𝛼 ∙ 𝛽2
∙ 𝛾2
≈ 2の制約があるので探索空間は小さい
2. φの探索:
α,β,γを固定し、φのパラメータをチューニングする
28](https://image.slidesharecdn.com/yokota20190621dlhack-190621022108/85/DL-EfficientNet-Rethinking-Model-Scaling-for-Convolutional-Neural-Networks-28-320.jpg)
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (ICML2019) MasashiYokota, RESTAR Inc.
- 2. 書誌情報 • 著者 – Mingxing Tan, Quoc V. Le – Google Researchのチーム – ICML2019 採択 • CNNの層数、チャネル数、解像度を単一のパラメータで最適化す る手法を提案 2
- 3. 1. 背景 3
- 4. 1. 背景 ハイパーパラメータ: 多 チューニングコスト: 大 4 莫大なパラメータを持つネットワークは 数多く提案されている Gpipe [Huang et. al. 2018]より引用
- 5. 1.2. 現行の問題点（もう少し具体的に） • 従来は層数、チャネル数、解像度をそれぞれ独立したパラメータを チューニングしていた。 → 探索空間が広く、チューニングが大変 5 ベースライン チャネル数 増加 層数 増加 解像度 増加
- 7. 2. 関連研究 7
- 8. 2.1. 関連研究 (枝切り・量子化等によるモデル圧縮) Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding [Han et. al. ICLR2016] • 大きなモデルをscale downしてモデルを効率化する。具体的には、枝 切り、量子化、ハフマン符号化を同時に行うことで精度を落とさず AlexNetとVGG-16をそれぞれ35倍、49倍圧縮した。 8
- 9. • モバイル端末用のモデルのネットワーク構造探索を強化学習で 行った研究。精度とモバイル端末のレイテンシ双方を考慮した指 標を提案し、それを報酬として強化学習を行うことで、 実行環境に最適なモデルを自動構築する。 9 2.2. 関連研究 (探索によるモデル構築) MnasNet: Platform-Aware Neural Architecture Search for Mobile [Tan et. al. CVPR2019]
- 10. 2.3. 関連研究の問題点 • これらの手法は小さなモデルに適用されており、設計が複雑で探 索がより困難な巨大なモデルへどのように適用するかは不明。 • 本論文では巨大なCNNにフォーカスし、モデル圧縮のように大き なモデルを小さくするのではなく、モデルをscale upさせることで、 高精度・高効率なモデル探索を可能にしている。 10
- 11. 3. 提案手法 Compound Model Scaling 11
- 12. 3. 提案手法 1. 問題の定式化 2. パラメータについて 3. Compound Scaling 4. アーキテクチャ探索 12
- 13. 3.1. 問題の定式化 13
- 14. 3.1.1. CNNの定式化 • i番目Conv層を以下のように定義: • また、シンプルなk層のCNNは以下のように定義する: • ResNetのように一つのブロックが同じタイプのConv層を複数持 つことを考慮し、CNNを以下のように定義する: 14 𝑌𝑖: 𝑖層の出力, 𝑋𝑖: 𝑖層の入力, 𝐹𝑖: 𝑖層の𝑜𝑝𝑒𝑟𝑎𝑡𝑖𝑜𝑛 𝐹𝑖 𝐿 𝑖 : 𝑖番目の𝑠𝑡𝑎𝑔𝑒で𝐹𝑖を𝐿𝑖回リピート 𝐻𝑖: 𝑖番目の入力Height 𝑊𝑖: 𝑖番目の入力𝑊𝑖𝑑𝑡ℎ 𝐶𝑖: 𝑖番目の入力𝐶ℎ𝑎𝑛𝑛𝑒𝑙
- 15. 3.1.2 問題の定式化 • 本研究では先の式にd,w,rを導入し以下の式を最適化する: 15 𝑑: Depth (層数), 𝑤: 𝑊𝑖𝑑𝑡ℎ(チャネル数), 𝑟: 𝑅𝑒𝑠𝑜𝑙𝑢𝑡𝑖𝑜𝑛 (解像度)
- 17. 3.2.1 Depth (d) • Depth(d): 層数 • dを増やすとモデルがよりリッチな特 徴量を取得できる一方で、深すぎる と勾配消失問題が起こる。 • 左図では、dがある程度大きくなると 改善幅が頭打ちしていることがわ かる 17
- 18. 3.2.2. Width (w) • Width(w): チャネル数 • wを増やすと、よりfine-grainedな 特徴量を獲得できる • 一方で、wに比べてネットワークが 浅いと高レベルな特徴量を捉えら れず、左図のようにｗがある程度 大きくなると精度の改善幅が小さ くなってくる 18
- 19. 3.2.3. Resolution (r) • Resolution(r): 解像度 • 初期CNNのImageNet入力画像解 像度は224x224であり、そこから 480x480(ex. Gpipe [Huang et. al. 2018])まで大きくなっている。それ に比例し良い性能を達成している。 • 一方で、rが大きくなるにつれ多様 な特徴量を獲得できるようにモデ ルのパラメータ数も増やす必要が ある。 19 ※ r=1.0の時: 解像度224x224 r=2.5の時: 解像度560x560
- 22. 3.3.1 Compound Scalingの予備実験 • 各パラメータすべてをチューニン グしたときの性能を比較 • 各パラメータを上手く調整するこ とで、少ないFLOPSで高いパ フォーマンスを出せる 各パラメータをバランスよく 調整することが重要 22
- 23. 3.3.2 提案手法 Compound Scaling Method • 先の予備実験から、d,w,rをバランスよく増加させるために 共通のパラメータφを導入し、以下の式でd,w,rを決定する: • α,β,γはハイパーパラメータ。 の制限により、FLOPS が2 𝜙 で増加していくのでFLOPSを見積もりやすくしている 23 メモ: CNNの式
- 26. 3.4.2. [Step1] ベースモデルのアーキテクチャ探索 • 本提案手法はベースモデルをscale upしていくためモデルはでき るだけ筋が良いモデルである必要がある。 →MNasNetを用いて精度とFLOPS双方を実現できるモデルを構 築する。この際に以下を報酬としてモデル探索を行う。 26 𝑚: モデル 𝑇: ターゲット𝐹𝐿𝑂𝑃𝑆 𝜔(=−0.07): ACCとFLOPSの バランスを取るハイパーパラメータ
- 27. 3.4.3 [Step1] 探索によって得られたアーキテクチャ • squeeze-and-excitationを持つmobile inverted bottleneck MBConvをメインに構成されている18層CNN 27
- 28. 3.4.4 [Step2-3] パラメータチューニング 1. α,β,γの探索: φ=1で固定し、α,β,γをグリッドサーチする ※ グリッドサーチしていているが、小さいCNNかつ 𝛼 ∙ 𝛽2 ∙ 𝛾2 ≈ 2の制約があるので探索空間は小さい 2. φの探索: α,β,γを固定し、φのパラメータをチューニングする 28
- 29. 4. 実験 29
- 30. 4. 実験 1. compound scaling自体の有効性検証: 既存モデル(ResNet, MobileNet)にcompound scalingを用いてス ケールアップ 2. EfficientNet + compound scalingの有効性検証: EfficientNetをImageNetで学習 3. 転移学習における有効性検証: EfficientNetの転移学習 30
- 31. 4.1. compound scaling自体の有効性検証: 既存モデルのcompound scalingを用いたスケールアップ • MobileNet V1/2とResNet をベースモデルとし、提案 手法でスケールアップす る • ほぼ同程度のFLOPSで あってもcompound scaling させる方が性能が良い • 学習率等の実験条件は 不明 31
- 32. 4.2. EfficientNet + compound scalingの有効性検証: EfficientNetをImageNetで学習 • 実験条件: – Optimizer: RMSProp (decay: 0.9, momentum: 0.9) – Learning Rate: 0.256 (2.4epoch毎に0.97 decayしていく) – Dropout Ratio: φの増加するに従って0.2から0.5へ段階的に上げる – その他: • Weight decay: 1e-5 • swish activation • fixed AutoAugment policy • stochastic depth (drop connect ratio: 0.2) 32
- 33. 33 4.2. EfficientNet + compound scalingの有効性検証: EfficientNetをImageNetで学習 (実験結果)
- 34. 34 4.2. EfficientNet + compound scalingの有効性検証: EfficientNetをImageNetで学習(FLOPSと精度の比較)
- 35. 35 4.2. EfficientNet + compound scalingの有効性検証: EfficientNetをImageNetで学習 (Intel Xeon CPU E5-2690での推論速度比較)
- 39. 5. Discussion 39
- 40. 5. Discussion • Compound scaling自体がどれくらい有益か詳しく分析する 1. 単体パラメータチューニングとcompound scalingの性能比較 2. Class Activation Mapによる活性領域の可視化 3. 2.で可視化したモデルの性能比較 40
- 41. 5.1. 単体パラメータチューニングとcompound scalingの性能比較 • バランスよくパラメータをチューニングすることは、性能向上に大 きく寄与している 41
- 42. 5.2. Class Activation Mapによる活性領域の可視化 • Compound scalingが最も上手く特徴量を取れていることがわかる 42
- 43. 5.3. 可視化したモデルの性能比較 • 先で可視化したモデルの性能を比較。FLOPSが同等な一方で精 度は他より大きく改善されており、compound scalingは少ない FLOPSでより良い性能のモデルが構築できている 43
- 44. まとめと感想 • CNNの層数、チャネル数、解像度を単一のパラメータφでチュー ニングする手法を提案 • 小さいモデルをMNasNetで構築し、3つのパラメータ(α,β,γ)をグ リットサーチで探索。その後、3パラメータを固定し、φのパラメー タチューニングを行っている • 他手法よりも少ないパラメータ数、FLOPSで高性能を実現 • (感想)CNNを単一パラメータでチューニングできるのは感動。予備 実験からの考察も面白い。一方で思った以上にφチューニングに 至るまでのプロセスが多いので改善の余地がありそう。また、学 習率等も一緒にチューニングできると面白そう。 44