MLP-Mixer: An all-MLP Architecture for Vision
3 likes1,532 views
以下論文の解説です。 Ilya Tolstikhin et al., "MLP-Mixer: An all-MLP Architecture for Vision," arXiv preprint arXiv:2105.01601, 2021.
![[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows](https://cdn.slidesharecdn.com/ss_thumbnails/swintransformer-210514020542-thumbnail.jpg?width=560&fit=bounds)
![SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...](https://cdn.slidesharecdn.com/ss_thumbnails/ss1-01-210607043349-thumbnail.jpg?width=560&fit=bounds)
![SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習](https://cdn.slidesharecdn.com/ss_thumbnails/200611ssii2020os2weaksupervision-200609142553-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]MetaFormer is Actually What You Need for Vision](https://cdn.slidesharecdn.com/ss_thumbnails/20220121metaformer-220121085750-thumbnail.jpg?width=560&fit=bounds)
![SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ts120220608ssiitransformerr2-220607054025-3adacf07-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]ICLR2020の分布外検知速報](https://cdn.slidesharecdn.com/ss_thumbnails/iclr2020ood-190927011524-thumbnail.jpg?width=560&fit=bounds)
![SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向](https://cdn.slidesharecdn.com/ss_thumbnails/os2-03latest-210610045610-thumbnail.jpg?width=560&fit=bounds)
![SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法](https://cdn.slidesharecdn.com/ss_thumbnails/os2-02final-210610091211-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Focal Loss for Dense Object Detection](https://cdn.slidesharecdn.com/ss_thumbnails/focalloss-180208092846-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks](https://cdn.slidesharecdn.com/ss_thumbnails/yokota20190621dlhack-190621022108-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]相互情報量最大化による表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/20190913iwasawa-190913002312-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]EfficientDet: Scalable and Efficient Object Detection](https://cdn.slidesharecdn.com/ss_thumbnails/191122dlseminar-191122013544-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection](https://cdn.slidesharecdn.com/ss_thumbnails/pvrcnn-200311050009-thumbnail.jpg?width=560&fit=bounds)
Ad
More Related Content
What's hot (20)
Similar to MLP-Mixer: An all-MLP Architecture for Vision (20)
Ad
More from Kazuyuki Miyazawa (11)
![[CVPR2020読み会＠CV勉強会] 3D Packing for Self-Supervised Monocular Depth Estimation](https://cdn.slidesharecdn.com/ss_thumbnails/202007043dpackingforself-supervisedmonoculardepthestimation-200704035538-thumbnail.jpg?width=560&fit=bounds)
Ad
MLP-Mixer: An all-MLP Architecture for Vision
- 1. Mobility Technologies Co., Ltd. MLP-Mixer: An all-MLP Architecture for Vision 2021/05/14 宮澤 一之
- 2. Mobility Technologies Co., Ltd. 宮澤 一之 株式会社Mobility Technologies AI技術開発部 AI研究開発第二グループ グループリーダー 経歴 April 2019 - March 2020 AI研究開発エンジニア@DeNA April 2010 - March 2019 研究員@三菱電機 March 2010 博士@東北大学 自己紹介 2 @kzykmyzw
- 3. Mobility Technologies Co., Ltd. 論文情報 3 arXiv: https://arxiv.org/abs/2105.01601 ■ Google Research ■ 2021年5月4日arXiv投稿 ■ 著者の多くがViT論文と重複（赤下線）
- 4. Mobility Technologies Co., Ltd. 概要 4 convolutionもattentionも使わずMLPのみで画像分類のSoTAに匹敵する精度を達成 https://youtu.be/7K4Z8RqjWIk
- 5. Mobility Technologies Co., Ltd. アーキテクチャ 5
- 6. Mobility Technologies Co., Ltd. アーキテクチャ 6 ViTと同様に画像をパッチ （e.g. 16x16）に分割
- 7. Mobility Technologies Co., Ltd. アーキテクチャ 7 パッチごとのlinear embeddings（token）
- 8. Mobility Technologies Co., Ltd. アーキテクチャ 8 Mixer Layer（後述）の 繰り返し
- 9. Mobility Technologies Co., Ltd. アーキテクチャ 9 クラス分類
- 10. Mobility Technologies Co., Ltd. Mixer Layer 10 各パッチのembeddingを縦方向に並べたテーブル
- 11. Mobility Technologies Co., Ltd. Mixer Layer 11 token-mixing MLP block ■ 入力テーブルの各列（チャネル）に独立にMLPを適用 ■ 全てのチャネルに対してMLPの重みは共通 ■ 異なる空間位置の間で特徴量を混合する役目 ■ toxen-mixing MLPは入力tokenの順序にセンシティブなため、ViTのようなposition embeddingsがなくても位置情報を学習できる
- 12. Mobility Technologies Co., Ltd. Mixer Layer 12 channel-mixing MLP block ■ 入力テーブルの各行（パッチ）に独立にMLPを適用 ■ 全てのパッチに対してMLPの重みは共通 ■ 異なるチャネルの間で特徴量を混合する役目
- 13. Mobility Technologies Co., Ltd. convolutionとの関係 13 1 x 1 convolutionと同等 single-channel depth-wise convolutionと同等 ■ MixerはCNNの特殊ケースとみなすことができる ■ channel-mixing MLPでのweight sharingにより位置不変性を獲得 ■ token-mixing MLPでチャネル間でweight sharingするのはCNNではあまり一般的でな いが*モデルが大きくなった際のメモリ使用量削減に大きな効果を発揮 * separable convolutionでは各チャネルに独立にconvolutionを適用するが、カーネルが各チャネルで異なる token-mixing MLP block channel-mixing MLP block
- 14. Mobility Technologies Co., Ltd. ■ 中〜大規模なデータセットでpre-trainingを行い、小〜中規模なデータセットに finetuningして画像分類の性能を評価 ■ 性能評価尺度 ■ 画像分類の精度 ■ pre-trainingに要する時間 ■ 推論のスループット ■ 実装スペック 実験 14 参考：ViTのスペック
- 15. Mobility Technologies Co., Ltd. 実験結果 15 MLP-Mixer convolution-based models attention-based models SoTAには及ばないが、SoTAに匹敵する精度を低い計算コストで実現している
- 16. Mobility Technologies Co., Ltd. pre-trainingに要する時間 vs 精度 16 他のSoTAモデルと並び、Mixerは Pareto frontier上にある
- 17. Mobility Technologies Co., Ltd. pre-trainingのデータセットサイズ vs 精度 17 ■ ResNetやViTと比較してMixerはデータセッ トサイズを大きくすることによる精度向上 が顕著 ■ データセットサイズを大きくすることでViT との性能差も小さくなっていく ■ MixerはViTよりもpre-trainingのデータセッ トサイズの恩恵を受けやすい ■ inductive biaseの違い？（ViTの self-attentionで獲得される特性の方 が真の分布に対するcompatibilityが 低い）
- 18. Mobility Technologies Co., Ltd. モデルサイズ vs 精度/スループット 18 モデルサイズを大きくすればMixer はPareto frontierに乗る
- 19. Mobility Technologies Co., Ltd. token-mixing MLPのweightの可視化 19 1st layer 2nd layer 3rd layer
- 20. Mobility Technologies Co., Ltd. ■ ViTを踏襲し、convolutionもattentionも使わずMLP-onlyなシンプルなアーキテクチャで SoTAに匹敵する画像分類性能を達成 ■ 精度のみではSoTAに及ばないが、精度 vs 計算コストを考えるとPareto frontier上に ある ■ attentionを使うViTは入力パッチ数の2乗に比例して演算量が増えるが、Mixerは線形 に抑えられる ■ pre-trainingのデータセットサイズに対するスケーラビリティが高い まとめ 20
- 21. Mobility Technologies Co., Ltd. ■ 公式 https://github.com/google-research/vision_transformer ■ timm https://github.com/rwightman/pytorch-image-models 実装 21
- 22. Mobility Technologies Co., Ltd. なぜか同時多発的に類似論文がarXivに登場 ■ 5/4 MLP-Mixer: An all-MLP Architecture for Vision ■ 5/6 Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on ImageNet ■ 5/7 ResMLP: Feedforward networks for image classification with data-efficient training おまけ 22
- 23. Mobility Technologies Co., Ltd. 23
- 24. Mobility Technologies Co., Ltd. 24
- 25. Mobility Technologies Co., Ltd. We're Hiring! 25 https://hrmos.co/pages/mo-t/jobs