【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers
Download as PPTX, PDF0 likes600 views
2022/8/5 Deep Learning JP http://deeplearning.jp/seminar-2/
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Scale Efficiently: Insights from Pre-training and Fine-
tuningTransformers” (ICLR2022)
Okimura Itsuki, Matsuo Lab, M1](https://image.slidesharecdn.com/20220805okimura-220824025553-43ff2ac2/85/DL-Scale-Efficiently-Insights-from-Pre-training-and-Fine-tuning-Transformers-1-320.jpg)
![DEEP LEARNING JP
[DL Papers]
“Grokking: Generalization Beyond Overfitting on Small
Algorithmic Datasets” (ICLR 2021 workshop)
Okimura Itsuki, Matsuo Lab, B4
http://deeplearning.jp/](https://image.slidesharecdn.com/20220805okimura-220824025553-43ff2ac2/85/DL-Scale-Efficiently-Insights-from-Pre-training-and-Fine-tuning-Transformers-17-320.jpg)
![SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法](https://cdn.slidesharecdn.com/ss_thumbnails/os2-02final-210610091211-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Deep Learning 第15章 表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/deeplearning15-180601023904-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]SoftTriple Loss: Deep Metric Learning Without Triplet Sampling (ICCV2019)](https://cdn.slidesharecdn.com/ss_thumbnails/yokota20190920dlhack-190920011134-thumbnail.jpg?width=560&fit=bounds)
![SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss2ssii2022-220607054716-2760bd30-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Flow-based Deep Generative Models](https://cdn.slidesharecdn.com/ss_thumbnails/20190307-190328024744-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介](https://cdn.slidesharecdn.com/ss_thumbnails/20191220readingpaperconvcnp-191220034420-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling](https://cdn.slidesharecdn.com/ss_thumbnails/decisiontransformer20210709zhangxin-210709021501-thumbnail.jpg?width=560&fit=bounds)
Ad
More Related Content
What's hot (20)
Similar to 【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers (17)
![[DL輪読会]ODT: Online Decision Transformer](https://cdn.slidesharecdn.com/ss_thumbnails/20220318-220322065805-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Mastering the Dungeon: Grounded Language Learning by Mechanical Turker...](https://cdn.slidesharecdn.com/ss_thumbnails/180126groundedlanguagelearningbymechanicalturkerdecent1-180126004830-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Und...](https://cdn.slidesharecdn.com/ss_thumbnails/dlreadingpaper20181019-181019010218-thumbnail.jpg?width=560&fit=bounds)
Ad
More from Deep Learning JP (20)
Ad
【DL輪読会】Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ “Scale Efficiently: Insights from Pre-training and Fine- tuningTransformers” (ICLR2022) Okimura Itsuki, Matsuo Lab, M1
- 2. アジェンダ 1. 書誌情報 2. 概要 3. 背景 4. 問題意識 5. 実験 6. 追加実験 2
- 3. １ 書誌情報 タイトル： Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers 出典： ICLR2022 https://openreview.net/pdf?id=f2OYVDyfIB 著者： Yi Tay, Mostafa Dehghani, Jinfeng Rao, William Fedus, Samira Abnar, Hyung Won Chung, Sharan Narang, Dani Yogatama, Ashish Vaswani, Donald Metzler (Google Research & Deepmind) 選んだ理由：べき乗則の再検討みたいなもので気になった 3
- 4. 2 概要 • Transformer言語モデルでの上流で観察されるべき乗則が 下流のタスクにどのように影響するのかは不明であった． • そこで多様な形状のT5ベースのモデルについて上流の言語モデリングと 下流でのタスクの性能を検証し， 上流タスクでの性能は下流タスクでの性能を保証しないことを示した． • また，下流タスクの性能はモデルの形状に影響を受け，層が深く幅が狭い DeepNarrowなモデルの学習効率が優れていることも示した． • DeepNarrowなモデルの優位性は他のNLPタスクで学習した場合や ViTでFew-shot学習を行った場合においても観察された． 4
- 5. 3 背景 言語モデルにおけるべき乗則(Scaling law) Transformer言語モデルにおいて， 言語モデルの損失とその他のパラメータの 関係を検証 言語モデルのクロスエントロピー損失Lと 計算能力C，データセットサイズD， パラメータ数Nの間でべき乗則が観察された *べき乗則…ある観測量が別の観測量の対数 に比例する モデルの形状の影響は軽微 5 出典: https://arxiv.org/pdf/2001.08361.pdf
- 8. 5 実験 8 多様な形状のモデルについて、上流と下流でのタスクの性能を検証 T5ベースアーキテクチャの様々なモデルサイズで 層の深さなどモデルの形状を変化させたモデルでの 性能を検証する． Ex. NL16-Base 上流 C4で学習した言語モデリングタスクでの損失 下流 GLUE / SuperGLUE / SQuADでの正解率
- 10. 5 実験 モデルのアーキテクチャパラメータの与える下流タスクへの影響は異なる 10 モデルの次元(DM)，隠れ層の次元(FF)， ヘッド数(NH)，レイヤー数(NL)を それぞれ操作した際の 上流と下流での性能を調査． 上流と下流でスケーリングの効果が異なる 場合が存在する．(ex. FF2K, NH8) レイヤー数(NL)は隠れ層の次元(FF)より も性能に対して効率的に寄与する． →DeepNarrow(深くて次元が狭い)な モデルが(パレート)効率的？
- 14. 6 追加実験 ViTでもDeepNarrowなモデルの優位性は観察できる 14 同様のことが他のモダリティでも起こるかを 検証するため，ViTでの事前学習後の Few-shot性能を比較． DeepNarrowなViT-Sモデルは， ViT-Bモデルと比較してより 良いパレート効率を示す． 特に、L = 24の場合，15%少ないパラメータ、 11%少ないFLOPsでより良いFew-shot精度 を達成した．
- 15. まとめ 15 • Transformer言語モデルでの上流で観察されるべき乗則が 下流のタスクにどのように影響するのかは不明であった． • そこで多様な形状のT5ベースのモデルについて上流の言語モデリングと 下流でのタスクの性能を検証し， 上流タスクでの性能は下流タスクでの性能を保証しないことを示した • また，下流タスクの性能はモデルの形状に影響を受け，層が深く幅が狭い DeepNarrowなモデルの学習効率が優れていることも示した． • DeepNarrowなモデルの優位性は他のNLPタスクで学習した場合や ViTでFew-shot学習を行った場合においても観察された．
- 17. DEEP LEARNING JP [DL Papers] “Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets” (ICLR 2021 workshop) Okimura Itsuki, Matsuo Lab, B4 http://deeplearning.jp/