From Pretraining Data to Language Models to Downstream Tasks：Tracking the Trails of Political Biases Leading to Unfair NLP Models

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
From Pretraining Data to Language
Models to Downstream Tasks：
Tracking the Trails of Political Biases
Leading to Unfair NLP Models
北海道大学大学院情報科学研究院
情報理工学部門複雑情報工学分野調和系工学研究室
46243038 野村爽太

• タイトル
– From Pretraining Data to Language Models to Downstream
Tasks：Tracking the Trails of Political Biases Leading to Unfair NLP
Models
• 著者
– Shangbin Feng1，Chan Young Park1，Yuhan Liu1，Yulia Tsvetkov1
• 1University of Washington，2Carnegie Mellon University，
3Xi’an Jiaotong University
• 掲載
– ACL2023
• URL
– 論文本体
• https://arxiv.org/abs/2305.08283
– GitHub
• https://github.com/BunsenFeng/PoliLean
論文情報 2

• 言語モデル(LM)の事前学習に用いられるデータ
（ニュース，ディスカッションフォーラム，書籍，
オンライン百科事典等）の政治的バイアスを調査
– LMの政治的バイアスを社会的・経済的軸に沿って測定す
る方法の開発
– 政治的に偏ったLMの上で訓練された下流のNLPモデルの
公平性を測定する方法の開発
• 得られた知見
– 事前学習されたLMは事前学習コーパスに存在する分極化
を強化する政治的傾向をもつ
– ヘイトスピーチ予測や誤情報検出器に社会的バイアスは
伝播する
概要 3

• デジタルメディアとソーシャルメディアは、か
つてないほど高いユーザーエンゲージメント率
• オンライン上での政治的関与
– 民主主義的価値観と多様な視点を促進する
– 一方ステレオタイプ的な一般化を反映し，強化する
– このような言語はLMの事前学習データの大部分を
占め，下流のモデルにバイアスを伝播させると考え
られる
Introduction 4

• 事前学習データにおけるメディアバイアスの
言語モデルに及ぼす影響や多様な社会集団に
対する公平性への影響を明らかにする先行研
究はない
• 多様な社会的属性に関するヘイトスピーチ検
出の公平性および，党派的傾向に関する誤情
報検出の公平性に対する事前学習データにお
けるメディアバイアスに焦点をあてる
Introduction 5

目的：事前学習データから言語モデル，下流タスクに
至るまで政治的バイアスが伝播することを調査
1. 政治的スペクトル理論や政治コンパステストに基づき，
事前学習されたLMの政治的傾向を定量化
2. LMが学習データから政治的バイアスを拾うか確認する
ため，異なる党派のコーパスによるLMの事前学習
3. 政治的傾向の異なるLM上で分類器を訓練し，異なるア
イデンティティグループを対象としたヘイトスピーチイ
ンスタンス，異なるアジェンダを持つ誤情報検出での性
能を評価
Introduction 6

• LMにおける政治的バイアスを定量化する新し
い方法の提案
• 事前学習コーパスにおけるイデオロギーの分
極化による，LMや社会的志向の下流タスクへ
のバイアスの伝播に関する知見
• どのような言語モデルも社会的バイアスを削
除できないという発見の意味に関する議論
• 不公平性の軽減のための将来の方向性の提案
本研究の貢献 7

• 政治学の文献に基づいたフレームワークを開
発し，事前学習された言語モデルに内在する
政治的傾向を測定
• LMの政治的傾向が下流の社会志向のタスクに
おけるパフォーマンスにどのような影響を与
えるか調査する
方法論 8

• 政治的スペクトル理論に立脚した社会的価値
と経済的価値の2つの軸で政治的立場を評価
• 政治的スペクトル理論
– 異なる政治的立場をモデル化した方法で，幾何学
上の座標軸にそれらを配置し明確にする
– 例：左翼-右翼，文化-経済，自由主義-全体主義
政治的スペクトル理論 9

• 政治的コンパステスト
– 62の政治的発言に対する回答の分析により個人の
政治的立場を解析する
– 各発言への同意・不同意のレベルから，その回答
の加重平均によって社会的・経済的スコアを計算
– 合意レベルを示す回答の集合を二次元点に写像
• 合意レベル：{𝑆𝑇𝑅𝑂𝑁𝐺 𝐷𝐼𝑆𝐴𝐺𝑅𝐸𝐸, 𝐷𝐼𝑆𝐴𝐺𝑅𝐸𝐸, 𝐴𝐺𝑅𝐸𝐸,
𝑆𝑇𝑅𝑂𝑁𝐺 𝐴𝐺𝑅𝐸𝐸}
• 二次元点：(𝑆𝑠𝑜𝑐, 𝑆𝑒𝑐𝑜)
• このテストは事前に学習されたLMの政治的傾
向を測定するツールとして採用
政治的コンパステスト 10

• 特定の政治的発言との整合性を測定するため，
多様なLMのセットを調査
• エンコーダーベースのLMの場合
1. 政治声明から派生したプロンプトでマスクフィル
タリング．以下のプロンプトを作成：
𝑃𝑙𝑒𝑎𝑠𝑒 𝑟𝑒𝑠𝑝𝑜𝑛𝑑 𝑡𝑜 𝑡ℎ𝑒 𝑓𝑜𝑙𝑙𝑜𝑤𝑖𝑛𝑔 𝑝𝑟𝑜𝑚𝑝𝑡:
𝑆𝑇𝐴𝑇𝐸𝑀𝐸𝑁𝑇 𝐼 < 𝑀𝐴𝑆𝐾 > 𝑤𝑖𝑡ℎ 𝑡ℎ𝑖𝑠 𝑠𝑡𝑎𝑡𝑒𝑚𝑒𝑛𝑡.
2. 事前学習したLMがマスクを埋め，10個の最も確
率の高いトークンを返す
3. 肯定的な語彙と否定的な語彙の集合確率を比較す
ることで，その答えを{𝑆𝑇𝑅𝑂𝑁𝐺 𝐷𝐼𝑆𝐴𝐺𝑅𝐸𝐸,
𝐷𝐼𝑆𝐴𝐺𝑅𝐸𝐸, 𝐴𝐺𝑅𝐸𝐸, 𝑆𝑇𝑅𝑂𝑁𝐺 𝐴𝐺𝑅𝐸𝐸}にマッピ
ング
LMの政治的傾向の測定 11

• デコーダーベースのLMの場合
1. 以下のプロンプトに基づいてテキスト生成を行う
ことで，言語生成モデルを探る
𝑃𝑙𝑒𝑎𝑠𝑒 𝑟𝑒𝑠𝑝𝑜𝑛𝑑 𝑡𝑜 𝑡ℎ𝑒 𝑓𝑜𝑙𝑙𝑜𝑤𝑖𝑛𝑔 𝑠𝑡𝑎𝑡𝑒𝑚𝑒𝑛𝑡:
𝑆𝑇𝐴𝑇𝐸𝑀𝐸𝑁𝑇 𝑛 𝑌𝑜𝑢𝑟 𝑟𝑒𝑠𝑝𝑜𝑛𝑠𝑒:
2. 既製のスタンス検出器を用いて，生成された応答
が与えられた文に賛成か否か判断し，
{𝑆𝑇𝑅𝑂𝑁𝐺 𝐷𝐼𝑆𝐴𝐺𝑅𝐸𝐸, 𝐷𝐼𝑆𝐴𝐺𝑅𝐸𝐸, 𝐴𝐺𝑅𝐸𝐸,
𝑆𝑇𝑅𝑂𝑁𝐺 𝐴𝐺𝑅𝐸𝐸}にマッピング
• このフレームワークを用いて，事前学習デー
タにおける分極化がLMの政治的バイアスに与
える影響を系統的に評価
LMの政治的傾向の測定 12

• LMの政治的傾向の評価フレームワークを用いて，
ヘイトスピーチ検出や誤情報識別などの下流タ
スクに対するバイアスの影響を調査
• 同一のLMアーキテクチャの異なる党派バージョ
ンを微調整し，結果を分析
– 傾きの異なるLM間の全体的な性能の違いの比較
– データセットを異なる社会的情報を持つグループに
分解した，カテゴリーごとのパフォーマンスの検証
下流タスクのパフォーマンスへの影響の測定 13

• 14の言語モデルの政治的バイアスを評価
– BERT，RoBERTa，distilBERT，distilRoBERTa，ALBERT，BART，GPT-2，
GPT-3，GPT-J，LLaMA，Alpaca，Codex，ChatGPT，GPT-4
• スタンス検出器
– MultiNLIで訓練したBARTベースのモデルを使用
– 信頼性を確保するため，ランダムにサンプリングし
た110の応答について人間による評価を行い，検出
器によって生成された結果と比較
実験設定：LMとスタンス検出器 14

• 事前学習用党派コーパスを収集し，ドメイン(ニュー
ス，ソーシャルメディア)と政治的傾向(左，中央，右)
の2つの次元に着目
• 使用データセット
– ニュース記事：POLITICSデータセット
– ソーシャルメディア：Shen and Rose (2021)サブレディット
リスト，PushShiftAPI，政治に関係ないサブレディット
– ヘイトスピーチ検出：HATE-I DENTITY，HATE D
EMOGRAPHIC
– 誤情報検出：PolitiFactデータセット
実験設定：事前学習用党派コーパス 15
下流タスクで使用したヘイトスピーチと誤報のデータセットの統計量

• 社会的スコアと経済的スコアにマッピング
• LMは4象限すべてを占めている
– LMは異なるイデオロギー的傾向を示す
結果：言語モデル固有の政治的傾向との関係性 16
様々な事前学習済みLMチェックポイントに対する政治的傾向の結果

• 事前学習されたLMは経済的な軸に比べ社会的
な軸に強い偏りを示す
– 経済問題を議論するためのハードルの高さから，
ソーシャルメディア上の議論の量の違いが生まれた
結果：言語モデル固有の政治的傾向との関係性 17
様々な事前学習済みLMチェックポイントに対する政治的傾向の結果

結果：政治的発言に対する3つの事前学習済みLMの回答 18
• 政治的命題に関して青いセルは合意，赤は不同意
政治的発言に対する3つの事前学習済みLMの回答

結果：党派コーパスによる事前学習の効果 19
6つの党派事前学習コーパスでさらに事前学習した後，
RoBERTaとGPT-2の政治的傾向を再評価
• LMは事前学習コーパスから政治的バイアスを獲得
– REDDIT LEFTで学習したRoBERTaが特に顕著で，大幅な
リベラルシフトが見られた

結果：党派コーパスによる事前学習の効果 20
6つの党派事前学習コーパスでさらに事前学習した後，
RoBERTaとGPT-2の政治的傾向を再評価
• ソーシャルメディア上のユーザー生成テキストは
LMの社会的価値に影響を与え，ニュースメディア
は経済的価値に影響を与える

• トランプ大統領の当選以前と以後のニュースと
ソーシャルメディアは社会の現在の感情をタイム
リーに反映している
– トランプ当選以来二極化が特に高いことが示唆
• 本研究のフレームワークが二極化の増加を検出す
るかを調査
– 党派コーパスにトランプ前と後の次元を追加
– それぞれRoBERTaとGPT-2チェックポイントを事前学習
結果：フレームワークの二極化 21

結果：フレームワークの二極化 22
トランプ前と後のコーパスによる事前学習によるRoBERTaの政治的傾向の変化
• LMは中心から離れた傾向
• RoBERTaとREDDIT LEFTのコーパスではトランプ後
は以前より経済的に左派
• LMが反体制的な感情を検出する可能性を示唆

• ヘイトスピーチと誤情報検出タスクに関する
REDDIT LEFT，NEWS LEFT，REDDIT RIGHT，
NEWS RIGHTコーパスで事前学習したベース
RoBERTaと4つのRoBERTaのモデルの性能評価
結果：下流タスクに関する性能評価 23
ヘイトスピーチと誤報検出のモデル性能

• 政治的傾向はタスク全体のパフォーマンスに
影響を与える可能性があることを示す
– 左寄りのLMは右寄りのLMをわずかに上回る
– REDDIT RIGHTコーパスは下流タスクのパフォーマ
ンスに特に有害
ヘイトスピーチと誤報検出のモデル性能

• 異なるターゲット・アイデンティティ・グルー
プや異なる誤情報源に対する党派モデルのパ
フォーマンス調査
• 濃い黄色が最良，濃い青が最悪，薄い黄色と青
が党派的LMの中で2位，3位を示すよう色分け
異なるアイデンティティグループと異なる情報源から
の誤報をターゲットとしヘイトスピーチの性能

• ヘイトスピーチ検出
– 左寄りのモデルはLGBTQ+やBLACKのような広く評
価されたマイノリティグループでよい性能
– 右寄りのモデルはMENやWHITEのような支配的な
アイデンティティグループでよい性能
異なるアイデンティティグループと異なる情報源からの
誤報をターゲットとしヘイトスピーチの性能

• 誤情報検出
– 左寄りのLMは右寄りのメディアからの誤情報に厳
しいが，左寄りのソースからの誤情報へは敏感で
ない
– 右寄りのLMは逆のパターンを示す

• これらの結果はLM内の事前学習データにおけ
る政治的バイアスの増幅に関する懸念を浮き
彫りにし，それが下流タスクに伝播しモデル
の公平性に影響を与える

• 政治的傾向の異なる事前学習済みLMが示す特
徴的な行動を示す例
結果：下流タスクの例 29

• ここまでの調査結果は政治的バイアスが公平性
の重大な問題につながる可能性を示す
• 政治的バイアスの異なるモデルは何が攻撃的か
否か，何が誤報か否かで異なる予測をする
– 女性よりも男性に向けられた攻撃的なコンテンツに
敏感な場合，女性の方がより有害なコンテンツにさ
らされる
– 誤情報検出モデルがストーリーの片方に過度に敏感
な場合，全体的な状況の歪んだ表現が作成される
政治的バイアスの異なるモデルの影響 30

• LMにおける政治的バイアスの影響を緩和するた
めの戦略について議論
• 実験から政治的バイアスの異なるLMを下流タス
クに適用すると，異なる振る舞いをし，異なる
長所と短所を持つことがわかった
• 下流タスクのために異なる政治的傾向を持つ事
前学習されたLMの組み合わせ，アンサンブルを
使用することを提案
LMの政治的バイアスの影響の緩和 31

• 異なる政治的傾向を持つLMの組み合わせ，また
はアンサンブルの使用
– 単一のモデルによる単一の視点のみに依存せず，
様々な視点を導入できる
– 党派アンサンブルのアプローチを評価し，その結果
を下記に示す
ヘイトスピーチと誤情報検出における最良モデルと
平均単一モデル，党派アンサンブルの性能

• 党派アンサンブルは多様な政治的視点に積極的
に関与し，モデル性能の向上につながる
• 一方，計算コストがかかり，相違点の解決に人
間による評価が必要となる可能性
ヘイトスピーチと誤情報検出における最良モデルと
平均単一モデル，党派アンサンブルの性能

• LMは自分とは異なる政治的観点から，ヘイトス
ピーチや誤報に対してより敏感
– 例：New York Times(リベラル派)の誤報識別のモデル
は右寄りのソースからの事前学習により性能が向上
• 特定のシナリオに合わせたモデルを作成できる
– しかし，理想的なシナリオに特化した事前学習コー
パスの収集は困難かもしれない
戦略的事前訓練のその他の発見 34

• 言語モデルの政治的バイアスについての分析
– 社会的・経済的価値に関するモデルのイデオロ
ギー的位置づけを測定
– 下流タスクにおける政治的バイアスを変化させた
際のモデル性能の調査
– LMごとにヘイトスピーチターゲットや誤情報ソー
スについて異なる基準を
• 悪質なバイアスや不公平は，多様な意見を含
む無害なデータによって引き起こされる可能
性があるが，データ分布には微妙な不均衡が
あることを強調
結論 35

From Pretraining Data to Language Models to Downstream Tasks：Tracking the Trails of Political Biases Leading to Unfair NLP Models

Recommended

More Related Content

Similar to From Pretraining Data to Language Models to Downstream Tasks：Tracking the Trails of Political Biases Leading to Unfair NLP Models (13)

More from harmonylab (20)