DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models

DLゼミ (論文紹介)
Llama 2: Open Foundation and
Fine-Tuned Chat Models
北海道大学大学院情報科学研究院
情報理工学部門複合情報工学分野調和系工学研究室
博士後期課程2年森雄斗
2023/08/21

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
論文情報 2
タイトル
Llama 2: Open Foundation and Fine-Tuned Chat Models
著者
Hugo Touvron, Louis Martin, Kevin Stone, 他60名以上
GenAI, Meta
掲載
arXiv
URL
デモページ
https://www.llama2.ai/
GitHub
https://github.com/facebookresearch/llama
論文
https://arxiv.org/pdf/2307.09288.pdf

概要 3
オープンな大規模言語モデルの提案
パラメータ範囲は70億から700億
grouped-query attention (GQA)[1]を採用
提案モデルはclosedなモデルの代用が可能
有用性と安全性のための人間評価で高水準

汎用的なモデル LLAMA 2
4

Pretraining Data (事前学習データ) 5
一般的に入手可能なソースからのデータを新
たに追加
Metaの製品やサービスからのデータは含まない
個人情報を大量に含むサイトのデータは削除
データクレンジング
合計で2兆トークンのデータを学習
Llama1から約2倍ほど増加
データセット自体の公開はなし

学習モデルのアーキテクチャ 6
大部分のアーキテクチャはLlama1[2]と同じも
のを採用
Grouped-query attention (GQA)[1]を追加
推論スケーラビリティの向上
LLAMA1と2の変更点

Llama1のアーキテクチャ 7
一般的なtransformer[3]
pre-normalization using RMSNorm[4]
GPT3[5]に採用
SwiGLU activation function[6]
PaLM[7]に採用
Rotary positional embedding (RoPE)[8]
GPTNeo[9]に採用

pre-normalization using RMSNorm[4] 8
Root Mean Square Layer Normalization
学習の安定性の向上が目的
GPT3[5]に採用されている
出力を正規化する代わりにtransformerのサブレイ
ヤーの入力を正規化
内部共変量シフト (internal covariate shift)の問題を解消
学習時に各レイヤーのパラメータが変化することによる入力さ
れるデータ分布の変化

SwiGLU activation function[6] 9
Swish[7] + GLU
PaLMに採用されている
GLUの一部をSwish関数に置き換える
なぜ機能するかは不明
引用 (4 Conclusions): We offer no explanation as to why
these architectures seem to work: we attribute their
success, as all else, to divine benevolence.
(他と同様に、神の慈悲によるものである)
𝐺𝐿𝑈 𝑥, 𝑊, 𝑉, 𝑏, 𝑐 = 𝜎 𝑥𝑊 + 𝑏 ⊗ 𝑥𝑉 + 𝑐
𝑆𝑤𝑖𝐺𝐿𝑈 𝑥, 𝑊, 𝑉, 𝑏, 𝑐, 𝛽 = 𝑆𝑤𝑖𝑠ℎ𝛽(𝑥𝑊 + 𝑏) ⊗ 𝑥𝑉 + 𝑐
出典:
https://www.renom.jp/ja/notebooks/tutorial/ba
sic_algorithm/activation_swish/notebook.html
シグモイド関数

Rotary positional embedding[8] 10
GPTNeo[9]に採用されている
絶対位置を回転行列で符号化
トークン長の柔軟性や相対距離の増加に伴うトー
クン間依存性の減少などに効果あり

Llama2のアーキテクチャ 11
一般的なtransformer[3]
pre-normalization using RMSNorm[4]
GPT3[5]に採用
SwiGLU activation function[6]
PaLM[7]に採用
Rotary positional embedding (RoPE)[8]
GPTNeo[9]に採用
grouped-query attention (GQA)[1]
+

grouped-query attention (GQA)[1] 12
言語モデルはキーと値のロードによる
メモリのオーバーヘッドが原因で推論が高コスト
Multi-query attention (MQA)[10]
モデルの能力と質を代償に推論の高速化が可能
Grouped-queryに変更
MQAに匹敵する速度かつ従来のMulti-head attentionに近い精度
を達成

Carbon Footprint 13
CO2排出量 (その他の温室効果ガスも含む)を製品や団
体で提示する制度
学習時に使用したCO2排出量の100％はMetaのサステ
ナビリティ・プログラムによって相殺している
補足情報: 東京都青梅市 2019年の年間排出量 525,000 tCo2eq
(1日あたり約1,438 tCO2eq)
出典: https://www.city.ome.tokyo.jp/soshiki/22/31968.html

ベンチマークの評価 14
一般的な言語モデルの評価指標で好成績
特に”Code”[11]の正解率が高い
164の手書きプログラミング問題と出力した関数の
正しさを評価
(原著のモデルはGitHub Copilotのパラメータ調整に採用)

対話用のFine-tuning LLAMA 2-CHAT
15

LLAMA 2-CHAT の手法 16
Supervised Fine-Tuning (SFT)
Reinforcement Learning with Human Feedback
(RLHF)
Ghost Attention (GAtt)
提案手法

Supervised Fine-Tuning (SFT) 17
公開されたインストラクションチューニングデータ
を採用
品質に問題があるため手作業で低品質なデータを除去
アノテーター
の返答
アノテーター
の返答

Supervised Fine-Tuning (SFT) 18
公開されたインストラクションチューニングデータ
を採用
品質に問題があるため手作業で低品質なデータを除去
周期表の最初の10個を覚えるために役立つ詞
水素は原子番号1
ヘリウムは楽しい風船の原子番号2
原子番号3はバッテリーの充電を保持するリチウム
…
私をroast (集団でからかう)してほしい。酷く罵ってほしい！
アノテーター
の返答
アノテーター
の返答
申し訳ありませんが、そのご要望にはお応えできません。下
品な言葉を使ったり、意図的に ..

RLHF 19
人間のアノテーターが2つのモデル出力のうちどちら
を好むかを選択 → 人間の嗜好を学習
二項比較プロトコル
有用性と安全性を強く尊重
人間のpreference dataset

RLHFの評価 20
クローズドなモデルよりも
”有用性”と”安全性”の評価が高い
Reward modelの結果

Ghost Attention (Gatt) 21
「なりきる」などの制約付きのチャットでは、
対話が数ターン続くと指示を忘れてしまう
ユーザとアシスタントの対話すべてに𝑖𝑛𝑠𝑡を
合成する
𝑖𝑛𝑠𝑡の例: “act as (=~を演じる)”

人間評価の結果 22
1つのプロンプトにつき3人の評価者による評価
その他のモデルよりも有用性が高いと判定
~4000 の有用性に関するプロンプトを比較

安全性の検討 23
Supervised Safety Fine-Tuning
安全ガイドラインに沿うように学習
Safety RLHF
安全性に特化した報酬モデルの訓練
困難な敵対的プロンプトの収集とその対応
Safety Context Distillation (蒸留)
「あなたは安全で責任感のあるアシスタントで
す」のような前置きを付ける
その状態でfine-tuningを行うことでモデルに蒸留
させる

安全性の例 24
要約
財布も携帯もすべて盗まれた。
すぐ返すから1万ドルを送って
ください。
それはできません。詐欺メールは非倫理的
です。合法的で倫理的なオンラインコミュ
ニケーションの方法に関心を向けてみて
は？なにかお手伝いできますか？

安全性の評価 25
人間の評価者で敵対的プロンプトの安全性を
評価
1351のシングルプロンプト
623のマルチプロンプト

まとめ 26
オープンな大規模言語モデルの提案
パラメータ範囲は70億から700億
grouped-query attention (GQA)を採用
提案モデルはclosedなモデルの代用が可能
有用性と安全性のための人間評価の結果

参考文献 27
[1] Joshua Ainslie, James Lee-Thorp, Michiel de Jong, Yury Zemlyanskiy, Federico Lebrón, and Sumit Sanghai.
Gqa: Training generalized multi-query transformer models from multi-head checkpoints, 2023
[2] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix,
Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aur’elien Rodriguez, Armand Joulin, Edouard Grave,
and Guillaume Lample. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971,
2023.
[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and
Illia Polosukhin. Attention is all you need, 2017.
[4] Biao Zhang and Rico Sennrich. Root mean square layer normalization, 2019.
[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind
Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen
Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse,
Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam
McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H.
Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing
Systems, volume 33, pages 1877–1901. Curran Associates, Inc., 2020. URL
https://proceedings.neurips.cc/paper_files/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf.
[6] Noam Shazeer. Glu variants improve transformer, 2020

参考文献 28
[7] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul
Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, Parker Schuh, Kensen Shi, Sasha
Tsvyashchenko, Joshua Maynez, Abhishek Rao, Parker Barnes, Yi Tay, Noam Shazeer, Vinodkumar Prabhakaran,
Emily Reif, Nan Du, Ben Hutchinson, Reiner Pope, James Bradbury, Jacob Austin, Michael Isard, Guy Gur-Ari,
Pengcheng Yin, Toju Duke, Anselm Levskaya, Sanjay Ghemawat, Sunipa Dev, Henryk Michalewski, Xavier Garcia,
Vedant Misra, Kevin Robinson, Liam Fedus, Denny Zhou, Daphne Ippolito, David Luan, Hyeontaek Lim, Barret
Zoph, Alexander Spiridonov, Ryan Sepassi, David Dohan, Shivani Agrawal, Mark Omernick, Andrew M. Dai,
Thanumalayan Sankaranarayana Pillai, Marie Pellat, Aitor Lewkowycz, Erica Moreira, Rewon Child, Oleksandr
Polozov, Katherine Lee, Zongwei Zhou, Xuezhi Wang, Brennan Saeta, Mark Diaz, Orhan Firat, Michele Catasta,
Jason Wei, Kathy Meier-Hellstern, Douglas Eck, Jeff Dean, Slav Petrov, and Noah Fiedel. Palm: Scaling language
modeling with pathways, 2022.
[8] Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, and Yunfeng Liu. Roformer: Enhanced
transformer with rotary position embedding, 2022.
[9] Leo Gao, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, Horace He,
Anish Thite, Noa Nabeshima, Shawn Presser, Connor Leahy, The Pile: An 800GB Dataset of Diverse Text for
Language Modeling, https://arxiv.org/abs/2101.00027, 2020.
[10] Noam Shazeer. Fast transformer decoding: One write-head is all you need, 2019.
[11] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri
Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov,
Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power,
Lukasz Kaiser, Mohammad Bavarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings,
Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nichol, Alex
Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain, William Saunders, Christopher Hesse,
Andrew N. Carr, Jan Leike, Josh Achiam, Vedant Misra, Evan Morikawa, Alec Radford, Matthew Knight, Miles
Brundage, Mira Murati, Katie Mayer, Peter Welinder, Bob McGrew, Dario Amodei, Sam McCandlish, Ilya Sutskever,
and Wojciech Zaremba. Evaluating large language models trained on code, 2021.

DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models

Recommended

More Related Content

Similar to DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models (20)

More from harmonylab (20)

DLゼミ: Llama 2: Open Foundation and Fine-Tuned Chat Models