[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Download as PPTX, PDF25 likes21,159 views
2018/10/19 Deep Learning JP: http://deeplearning.jp/seminar-2/
![DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
BERT: Pre-training of Deep Bidirectional Transformers for
Language Understanding
Makoto Kawano, Keio University](https://image.slidesharecdn.com/dlreadingpaper20181019-181019010218/85/DL-BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding-1-320.jpg)
![Feature-basedアプローチ
●様々なNLPタスクの素性として利用される
‣ N-gramモデル[Brown et al., 1992]やWord2Vec[Mikolov et al., 2013]
• 文や段落レベルの分散表現に拡張されたものある
‣ タスクに合わせて学習させると性能向上[Turian et al., 2010]
●最近では，ELMo[Peters et al., 2017, 2018]が話題に
‣ Context-Sensitiveな素性を獲得
‣ 複数のNLPタスクでSOTA
• QA，極性分類，エンティティ認識
‣ 既存の素性にConcatすると精度UP
6](https://image.slidesharecdn.com/dlreadingpaper20181019-181019010218/85/DL-BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding-6-320.jpg)
![ELMo [Peters et al., 2017, 2018]
●BiLSTMをL層積んで，各隠れ層を加重平均する
●獲得したELMoをNLPタスクの入力および隠れ層に連結するだけ
7
or](https://image.slidesharecdn.com/dlreadingpaper20181019-181019010218/85/DL-BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding-7-320.jpg)
![Transformer[Ł.Kaiser et al., arXiv,2017]
●有名なXXX is All You Needの先駆者（今回はAttention）
●RNN構造ではなく，Attention機構のみで構成
●Encoder-Decoderで構成されている
‣ 左側：Transformer-Encoder
‣ 右側：Transformer-Decoder
●Transformerって結局？
‣ Multi-Head AttentionとPosition-wise FFNの集合体
（より詳細は@_Ryobotさんのブログhttp://deeplearning.hatenablog.com/entry/transformerでお願いします）
8](https://image.slidesharecdn.com/dlreadingpaper20181019-181019010218/85/DL-BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding-8-320.jpg)
![Fine-tuningアプローチ
●言語モデルの目的関数で事前学習する
‣ そのあと教師ありタスクでfine-tuningする
‣ 少ないパラメータで学習することが可能（らしい，，，）
●最近では，OpenAI GPT[Radford et al. 2018]
‣ GLUEスコアでSOTA
‣ TransformerのDecoderだけを利用[Liu et al., 2018]
• 単方向のモデル
9](https://image.slidesharecdn.com/dlreadingpaper20181019-181019010218/85/DL-BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding-9-320.jpg)
![入力表現：一つの文章or文章のペア（QAなど）
●三種類の埋め込みの合計(sum≠concat)
‣ トークン埋め込み：30000種類のWordPiece埋め込み
• 分割されたところは「##」で表現
‣ 単語位置埋め込み：系列長1〜512個の表現
• 位置0には，[CLS]トークンを追加→系列分類問題ではこの埋め込みを利用
‣ 文区別埋め込み：QAなどの場合の話
• 一文の時はAのみ
12](https://image.slidesharecdn.com/dlreadingpaper20181019-181019010218/85/DL-BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding-12-320.jpg)
![タスク1:Masked Language Model
●pre-traininig時とfine-tuning時で違いが生じてしまう
‣ Fine-tuningの時に[MASK]トークンは見ない
‣ 常に置換するのではなく，系列のうち15％の単語を置き換える
• 例：my dog is hairy -> hairyが選択される
• 80%：[MASK]トークンに置換
• my dog is hairy -> my dog is [MASK]
• 10%：ランダムな別の単語に置換
• my dog is hairy -> my dog is apple
• 10%：置き換えない(モデルに実際に観測される言葉表現に偏らせる)
• my dog is hairy -> my dog is hairy
14](https://image.slidesharecdn.com/dlreadingpaper20181019-181019010218/85/DL-BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding-14-320.jpg)
![Fine-tuning手続き
●系列レベルの分類問題
‣ 固定長の分散表現C∈RHを獲得するため，最初の[CLS]トークンを使う
‣ 新しく追加する層は分類層W∈RKxH＋ソフトマックス層のみ
‣ BERTも一緒に学習させる
●スパンorトークンレベルの分類問題
‣ 各タスクの仕様に合わせて学習させる
●バッチサイズ，学習率，エポック数のみ変更
‣ ドロップアウト：常に0.1
‣ 10万以上のラベル付きデータセットの場合はそこまで気にしなくていい
‣ Fine-tuningは高速でできるため，パラメータ探索すべき
18](https://image.slidesharecdn.com/dlreadingpaper20181019-181019010218/85/DL-BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding-18-320.jpg)
![効果検証：事前学習タスク
●No NSP：MLMを学習させるだけ
●LTR&No NSP：MLMもなし＝left-to-right言語モデルで学習
‣ Pre-training時：マスクなし, fine-tuning時：左からの情報のみ
• 別のパターンも試したけど，精度下がりすぎて意味がなかった
‣ OpenAI GPTと比較することが可能
• データセットの違い：GPTはBooksCorpusのみ
• 入力表現の違い：GPTは[CLS][SEP]はfine-tuningのみ＆文区別表現なし
• Fine-tuning戦略：バッチに含まれる単語やパラメータ探索なし
24](https://image.slidesharecdn.com/dlreadingpaper20181019-181019010218/85/DL-BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding-24-320.jpg)
![[DL輪読会]Flow-based Deep Generative Models](https://cdn.slidesharecdn.com/ss_thumbnails/20190307-190328024744-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介](https://cdn.slidesharecdn.com/ss_thumbnails/20191220readingpaperconvcnp-191220034420-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision](https://cdn.slidesharecdn.com/ss_thumbnails/dlkobayashi0115-210115012308-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]相互情報量最大化による表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/20190913iwasawa-190913002312-thumbnail.jpg?width=560&fit=bounds)
![SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ts120220608ssiitransformerr2-220607054025-3adacf07-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...](https://cdn.slidesharecdn.com/ss_thumbnails/dlhackspectralnorm1-170907072536-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets](https://cdn.slidesharecdn.com/ss_thumbnails/20220325okimura-220405024717-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...](https://cdn.slidesharecdn.com/ss_thumbnails/220204nonakadl1-220204025334-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Understanding Black-box Predictions via Influence Functions](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacksinffunc-170822055634-thumbnail.jpg?width=560&fit=bounds)
![[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」](https://cdn.slidesharecdn.com/ss_thumbnails/jsai2018tutorialslideshare-180607030706-thumbnail.jpg?width=560&fit=bounds)
Ad
More Related Content
What's hot (20)
Similar to [DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (9)
![[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling](https://cdn.slidesharecdn.com/ss_thumbnails/decisiontransformer20210709zhangxin-210709021501-thumbnail.jpg?width=560&fit=bounds)
![[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」](https://cdn.slidesharecdn.com/ss_thumbnails/jsai2018tutorialslideshare-180606065226-thumbnail.jpg?width=560&fit=bounds)
Ad
More from Deep Learning JP (20)
Ad
[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- 1. DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Makoto Kawano, Keio University
- 2. 書誌情報 ●タイトル：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ●著者：Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova ●投稿日：2018/10/11 ●選定理由：Twitterでバズってた ‣ NLP界隈のImageNet Pre-trainedモデル（VGGやResNet）的存在になるか もらしい ‣ Transformerって良くわかってない 2
- 3. アウトライン 1．背景 1. Feature-basedアプローチ 2. Fine-tuningアプローチ 2．BERT 1. 入力表現について 2. 事前学習タスク 3．実験 1. 11種類のNLPタスク 2. 提案手法の有効性 3
- 4. アウトライン 1．背景 1. Feature-basedアプローチ 2. Fine-tuningアプローチ 2．BERT 1. 入力表現について 2. 事前学習タスク 3．実験 1. 11種類のNLPタスク 2. 提案手法の有効性 4
- 5. 背景 ●様々な自然言語処理タスクにおいて，事前学習は有効 ‣ 文レベルのタスク：文同士の関係性が大事 • 自然言語推論 • 言い換え ‣ トークンレベル：モデルはトークンレベルで良い出力が求められる • 名付けられたエンティティ認識 • Q＆A ●事前学習には二種類のアプローチがある 5
- 6. Feature-basedアプローチ ●様々なNLPタスクの素性として利用される ‣ N-gramモデル[Brown et al., 1992]やWord2Vec[Mikolov et al., 2013] • 文や段落レベルの分散表現に拡張されたものある ‣ タスクに合わせて学習させると性能向上[Turian et al., 2010] ●最近では，ELMo[Peters et al., 2017, 2018]が話題に ‣ Context-Sensitiveな素性を獲得 ‣ 複数のNLPタスクでSOTA • QA，極性分類，エンティティ認識 ‣ 既存の素性にConcatすると精度UP 6
- 7. ELMo [Peters et al., 2017, 2018] ●BiLSTMをL層積んで，各隠れ層を加重平均する ●獲得したELMoをNLPタスクの入力および隠れ層に連結するだけ 7 or
- 8. Transformer[Ł.Kaiser et al., arXiv,2017] ●有名なXXX is All You Needの先駆者（今回はAttention） ●RNN構造ではなく，Attention機構のみで構成 ●Encoder-Decoderで構成されている ‣ 左側：Transformer-Encoder ‣ 右側：Transformer-Decoder ●Transformerって結局？ ‣ Multi-Head AttentionとPosition-wise FFNの集合体 （より詳細は@_Ryobotさんのブログhttp://deeplearning.hatenablog.com/entry/transformerでお願いします） 8
- 9. Fine-tuningアプローチ ●言語モデルの目的関数で事前学習する ‣ そのあと教師ありタスクでfine-tuningする ‣ 少ないパラメータで学習することが可能（らしい，，，） ●最近では，OpenAI GPT[Radford et al. 2018] ‣ GLUEスコアでSOTA ‣ TransformerのDecoderだけを利用[Liu et al., 2018] • 単方向のモデル 9
- 10. アウトライン 1．背景 1. Feature-basedアプローチ 2. Fine-tuningアプローチ 2．BERT 1. 入力表現について 2. 事前学習タスク 3．実験 1. 11種類のNLPタスク 2. 提案手法の有効性 10
- 11. BERT ●双方向Transformer ‣ 実装：tensor2tensor ‣ リークを防ぐマスクがない ‣ 二種類のモデルを用意 • BERTBASE：GPTと比較用 • BERTLARGE：Googleの本気用 ●ちなみに ‣ 双方向Transformer=Encoder ‣ 単方向Transformer＝Decoder（生成に使えるかららしい） 系列長＝バッチと同じ扱いらしい →一つの系列＝系列長x特徴量 11
- 12. 入力表現：一つの文章or文章のペア（QAなど） ●三種類の埋め込みの合計(sum≠concat) ‣ トークン埋め込み：30000種類のWordPiece埋め込み • 分割されたところは「##」で表現 ‣ 単語位置埋め込み：系列長1〜512個の表現 • 位置0には，[CLS]トークンを追加→系列分類問題ではこの埋め込みを利用 ‣ 文区別埋め込み：QAなどの場合の話 • 一文の時はAのみ 12
- 13. タスク1:Masked Language Model ●双方向モデルは，left-to-rightモデルや双方向の連結より強力 ‣ 一般的な条件付き言語モデルでは学習できない • 特定の単語予想：p(xn | x1, x2, …, xn-1) • 双方向だと，間接的に複数層の文脈から「自身」をみてしまう ‣ 次の単語ではなく，ランダムで抜かれた単語を予測するモデルにする • Denoising Autoencoderに似ているが，全体を予測するわけではない • ただし，二つの欠点が生じてしまう 13
- 14. タスク1:Masked Language Model ●pre-traininig時とfine-tuning時で違いが生じてしまう ‣ Fine-tuningの時に[MASK]トークンは見ない ‣ 常に置換するのではなく，系列のうち15％の単語を置き換える • 例：my dog is hairy -> hairyが選択される • 80%：[MASK]トークンに置換 • my dog is hairy -> my dog is [MASK] • 10%：ランダムな別の単語に置換 • my dog is hairy -> my dog is apple • 10%：置き換えない(モデルに実際に観測される言葉表現に偏らせる) • my dog is hairy -> my dog is hairy 14
- 15. タスク1:Masked Language Model ●15％しか予測させないため，学習に時間がかかってしまう ‣ 実験で，MLMが全ての単語を予測するleft-to-rightモデルより時間が かかることを示す ‣ 「時間はかかるけど，それ以上に精度改善するからいいとする」 →🤔🤔🤔🤔🤔 15
- 16. タスク2：Next Sentence Prediction ●QAや自然言語推論（NLI）：2つの文章の関係性理解が大事 ‣ 言語モデルでは，捉えきれない ‣ 二値のnext sentence predictionタスクを解かせる • 文章AとBが与えられた時に，50％で別のBに置き換える ‣ 解かせると，97%-98%の精度 • QAとNLIで非常に有効であることを実験では示す 16
- 17. Pre-training手続き ● データセット：BooksCorpus(800M)+English Wikipedia(2500M) ‣ Billion Word Benchmarkのような文より，ドキュメントレベルが大事 ● 系列長が合計512以下になるように2つの文章をサンプリング ‣ Next sentence predictionのため，AとBの組み合わせは50％で変わる ‣ MLMのためWordPieceトークンに分けられたあと，マスクされる ● バッチサイズ：256（＝256文x512系列長＝128000単語/バッチ） ‣ 1,000,000ステップ=33億の単語を40エポック学習 ● Adam：LR=1e-4, L2weight_decay=0.01 ● Dropout: 0.1 ● Gelu活性化関数を利用 BERTBASE：4台x4TPUx4日x$4.5 BERTLARGE：16台x4TPUx4日x$4.5 🤔🤔🤔 17
- 18. Fine-tuning手続き ●系列レベルの分類問題 ‣ 固定長の分散表現C∈RHを獲得するため，最初の[CLS]トークンを使う ‣ 新しく追加する層は分類層W∈RKxH＋ソフトマックス層のみ ‣ BERTも一緒に学習させる ●スパンorトークンレベルの分類問題 ‣ 各タスクの仕様に合わせて学習させる ●バッチサイズ，学習率，エポック数のみ変更 ‣ ドロップアウト：常に0.1 ‣ 10万以上のラベル付きデータセットの場合はそこまで気にしなくていい ‣ Fine-tuningは高速でできるため，パラメータ探索すべき 18
- 20. アウトライン 1．背景 1. Feature-basedアプローチ 2. Fine-tuningアプローチ 2．BERT 1. 入力表現について 2. 事前学習タスク 3．実験 1. 11種類のNLPタスク 2. 提案手法の有効性 20
- 21. 実験：8個のNLPベンチマークタスク ●General Language Understainding Evaluationベンチマーク ‣ 訓練/検証/テストに分割済 ‣ 公平な評価が可能 • テストはラベルなしで公開 @_Ryobotさんのツイート https://twitter.com/_Ryobot/status/1050925881894400000 から拝借（非常に助かりました） 21
- 23. 実験：Named Entity Recognition ●入力された単語のラベルを当てる ‣ Person, Organization, Location, Miscellaneous, Other(割り当てなし) ‣ 5クラス分類問題用の層を追加するのみ 23
- 24. 効果検証：事前学習タスク ●No NSP：MLMを学習させるだけ ●LTR&No NSP：MLMもなし＝left-to-right言語モデルで学習 ‣ Pre-training時：マスクなし, fine-tuning時：左からの情報のみ • 別のパターンも試したけど，精度下がりすぎて意味がなかった ‣ OpenAI GPTと比較することが可能 • データセットの違い：GPTはBooksCorpusのみ • 入力表現の違い：GPTは[CLS][SEP]はfine-tuningのみ＆文区別表現なし • Fine-tuning戦略：バッチに含まれる単語やパラメータ探索なし 24
- 25. 効果検証：事前学習タスク ●LTRはMLMに比べて全然ダメ ‣ QAは，右側の文脈も大事であることがわかる ‣ MRPCは，原因わからないが何度やってもダメだった ‣ BiLSTM追加したらQAは改善したが，それ以外はだめ ●LTR+RTLについて ‣ コストが倍 ‣ QAでRTLはおかしい ‣ 双方向の方が左と右の文脈を 選択することができる 25
- 28. 効果検証：feature-basedアプローチ ●Feature-basedアプローチも有効なのではないか？ ‣ 全てのNLPタスクをTransformer Encoderでは解けない ‣ 計算量コストも，一度計算すれば完了だから使いやすい ●Named Entity RecognitionタスクでPre-training ‣ BERTのパラメータは固定して，2層の768-BiLSTM＋分類層追加 ●結果的には最後4つのTransformerの出力を連結 ‣ BERTは，feature-based，fine-tuningアプローチ どっちでも行けることがわかる 28