ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanations)

Editor's Notes

• #2: 今回は、ブラックボックスから説明可能なAIへというテーマで、LIMEというアルゴリズムについてお話します。AIないしは機械学習のことがよくわからないから実際の現場で導入できないと悩んでいる人が多いです。 その背景には、機械学習の技術そのものを理解すること自体の難しさがあるのですが、それに加えて、そもそも機械学習の専門家ですら機械学習が出した結果がなぜ出てきたかを説明することが難しいという問題があります。 高い精度の予測はできたものの、なぜそれが出てきたかの根拠がなければ、なかなか導入が難しいということですね。 ここに対して、近年説明可能なAI、英語ではExplanable AIやXAIと呼ばれるものが注目されています。 今回は、XAIのためのアルゴリズムの１つであるLIMEを解説をしていきます。 このチャンネルでは、研究や開発やスタートアップの話をしていきます。 興味のある方はチャンネル登録お願いします。
• #3: まず最初に、機械学習でなぜ説明可能性が求められるかについてお話します。 機械学習で出された予測結果に対して、説明責任を果たさないといけない場合に、説明可能性は重要となります。 例えば、医療の現場における機械学習では、お医者さんからガンだと診断されたときに、判断根拠がAIだから分からないと言われたら、その診断結果を信頼することは難しいですよね。 医療現場のAIと同様のことが、多くの業界で言うことができ、おもに人間が意思決定が関わるものは、AIの結果に対する説明責任を果たすために、説明可能性が重要となってきます。 しかし、機械学習は高い精度の予測は得意ですが、なぜその予測になったのかという根拠を示すことは不得意です。 これがいわゆる、機械学習がブラックボックスと言われる所以でもあるわけです。 しかも、最近、多く使われているディープラーニングなどは、モデルが複雑になりすぎていて、ますます解釈ができないものとなってきています。 このままでは、機械学習の結果を根拠なしに信じるか、機械学習自体を使わないかのどちらかになってしまいます。 予測結果に対する説明責任を果たすことさえできれば、機械学習による高精度の予測の恩恵に預かることができるで、説明可能なAI、XAIが必要となってくるということです。 ちなみに、XAIの世界では説明可能性や解釈可能性など二通りの表現が同じような文脈で出てきます。 多くの場合、どちらに読み替えても意味が通じることが多いので、適宜読み替えて理解していただくといいと思います。
• #4: ではここで、機械学習における説明可能性とは何かについて簡単に説明します。 説明可能性は大域的な説明と局所的な説明の2つに分けられます。 大域的な説明は、モデル全体の挙動を知るために、そのモデルがどの特徴を重要視していかなどを見ていきます。 一方、局所的な説明は、ある入力に対して出てきた予測の根拠を知るために、その予測でどの特徴を主に使っているかなどを見ていきます。 モデルの性質を知りたいのか、予測結果の根拠を知りたいのかで、大域的な説明か局所的な説明のどちらを求めるかが変わります。 さきほどの医療の例など、予測結果の根拠を知りたい場合は、局所的な説明が必要となることが多くなります。
• #5: 説明可能性について簡単に理解していただいたところで、今回解説する論文を紹介します。 今回解説する論文は、「あらゆる分類機の予測を説明する」という題目の論文を紹介します。 2016年に投稿された論文で、引用件数は6000件超えと機械学習の世界では有名な論文となっています。 この論文は、多くの論文のように予測精度が高い手法を提案するのではなく、人間がモデルを信頼するためにはどんな情報があればよいかに主眼をおいた手法が提案されています。 論文内では2つのアルゴリズムが提案されており、1つが局所的な説明のためのアルゴリズムであるLIMEで、もう1つが大域的な説明のためのアルゴリズムであるSP-LIMEです。
• #6: そもそもモデルを信頼するとはどういうことでしょうか。 この論文では、2種類の定義が紹介されています。 １つが、予測結果に基づいて何らかの行動ができるほど、個々の予測が信頼できるかです。 これは局所的な説明にあたります。 もう一つが、モデルがどんな性質を持っているか理解でき、モデルそのものを信頼できるかです。 こちらは大域的な説明にあたります。 どちらも人がモデルの動作をどれだけ理解しているかに直接影響してきます。 ところが、機械学習の世界では、モデルを評価ではどのくらいモデルを信頼できるかではなく、予測精度がどれだけ高いかを一番の目標として置いていることが多いです。 ここが実社会と異なるところと言えます。 実社会では精度だけではなく、どのくらい信頼するに足るモデルなのかを評価する必要があります。 その例として挙げられるのが、医療診断やテロの検知などです。 実務をやっている人は度々ぶち当たっていると思うのですが、これ以外にも機械学習の予測結果を鵜呑みにできない場面はよくあります。 予測結果が信頼できるかどうかという問いに対して新しい手法を提案しているのがこの論文となります。 今回もざっくりとした挙動が分かるようにかいつまんで解説していきます。
• #7: それでは、今回の論文で提案されている手法、LIMEについて紹介します。 LIMEはLocal Interpretable Model-agnostic Explanationの略で、局所的に解釈可能なモデルに依存しない説明という意味になります。 下を噛みそうな名前になっているのですが、要するにどんなモデルでも解釈して説明ができるアルゴリズムということです。 LIMEは、複雑なモデルを人間が理解できるようにするために作られたアルゴリズムとなっています。 例えば、右図はとある予測の境界などを表しているのですが、薄いピンクのPositiveになる領域と薄い青色のNegativeになる領域の境界が複雑に入り組むことが機械学習ではよくあります。 このような予測のPositiveとNegativeの境界は、人間が理解できるように表現することは難しくなります。 そこでLIMEでは、境界を全て説明するのではなく、説明したいデータの周辺に着目してPositiveとNegativeの境界を見ていきます。 具体的には、対象となるデータに近いデータを使い、その周辺で人間が理解しやすい回帰モデルを用いて境界を近似します。 実際の実装では、この境界の近似にリッジ回帰などが用いられたりするようです。 また、元の説明変数が多すぎる状態で回帰をしても、人間が理解できる範囲を越えてしまうため、LIMEではLassoの正則化パスを用いてあらかじめ特徴量を絞ることをします。 厳密性よりもとにかく人間が理解するためにはどのような表現をすればよいかを考えたアルゴリズムということです。
• #8: ここからはLIMEの活用例を紹介します。 ここでは、与えられたテキストがキリスト教と無神論のどちらについてかかれたかを予測するタスクを行っています。 このモデルは、検証データで94%の正解率を誇る性能の高いモデルとなっています。 右側にある結果が、実際にテキストを予測した結果となっており、ここで与えられたテキストは無神論に関するテキストとこのモデルで予測されています。 そして、バーチャートとして並んでいるものが、この予測のために重要だと判断された単語となっています。 重要だった単語は、下にある実際の文章中でもハイライトされています。 予測で重要であった単語として、予測には全く関係ない単語であるPosting, Host, Reなどが入っています。 つまり、このテキストに対する予測では、予測と全く関係ない単語を重要なものとしてこのテキストを無神論のテキストと判断しているので、信頼できない予測であることがわかります。 このように、LIMEで抽出された重要な特徴を見ることで、実際の予測が信頼に値するかどうかを考えることができます。 そして、今回の例のように、元のデータに不適切なデータが含まれていることを浮き彫りにし、データからそのようなデータを取り除くこともできます。
• #9: 次にDNNによる画像分類の予測に、LIMEを適用した結果を紹介します。 この実験では、画像に何が写っているかをGoogleの画像分類モデルを使って検出しています。 一番左にある画像がオリジナルの画像で、右にある3つが画像に写っていたと判断されたものと、どこを重要視してその判断がくだされたかをLIMEを使って可視化したものとなります。 この画像では、エレクトリックギターとアコースティックギターとラブラドールの3つが検出されています。 アコースティックギターとラブラドールは元の画像にも写っているため、正しく検出していることがわかります。 また、これらがどこを重要視してこれらが検出されたかの画像を見ても、正しく特徴を捉えて検出していることがわかります。 ところが、もう一つ検出されているエレクトリックギターだけは元の画像には写っていません。 この検出自体は誤りであるのですが、エレクトリックギターだと判別した箇所は、ギターの指板のあたりとなっており、エレクトリックギターと似た特徴を捉えているので、モデルの挙動自体は正しい挙動をしていると言うことができます。 予測事態が誤っていてもモデルの挙動が正しい華道家の確認にLIMEが使えるということです。
• #10: ここまで局所的な説明をするためのアルゴリズムであるLIMEを紹介してきました。 1つのデータに対して、どんな根拠で予測をしたのかを説明することにLIMEは使えますが、これはあくまでもモデルの挙動の一部であり、モデル全体の信頼性を評価できるものではありません。 たった1つの間違いがあっただけで、信頼できないモデルとしてしまうのはさすがに言い過ぎですよね。 そこで、この論文ではLIMEに加えて、モデル全体を説明する手法であるSP-LIMEも提案しています。 SP-LIMEでは、まず全てのデータに対してLIMEを適用して、それぞれの予測においてどの特徴が重要視されたかを計算します。 左の図で灰色になっている部分が予測時に重要視された特徴を表しています。 次に、多くの予測で重要視された特徴を選択します。 ここの図でいうと、最も多くのデータの予測で重要視されているf2が選択されます。 そして、重要と判断したデータがf2とかぶらないもので、多くのデータの予測で重要視されている特徴を選択します。 この例では、f3やf4だとf2とかぶり冗長となってしまうため、f5が選択されます。 これを繰り返すことに順々に重要な特徴を決めていくという流れとなります。 このように特徴を順々に選択していくやり方が、submodular pickと呼ばれているところです。
• #11: この論文では、提案した手法で人間がモデルを信頼をできるかということを示すために、様々な切り口で実験を行っています。 説明がモデルに忠実であるか、個々の予測が信頼できるか、モデル自体を信頼できるか、最適なモデルを選択できるか、専門家でなくてもモデルを改善できるか、そして、説明は洞察につながるか、これら全てにおいて、提案手法が有効であることが示されています。 詳しい実験の話をすると動画が長くなるので今回は省略しますが、詳しく知りたい方は概要欄にあるSlideShareもしくは、元の論文を参照してください。
• #12: まとめをします。 実世界における機械学習では、予測精度だけではなく人がモデルを信頼できるかどうかも重要になることがあります。 医療現場など、予測の根拠が示せない場所では、ブラックボックスは許容することができないということですね。 この要望にこたえるものがXAI、つまり説明可能なAIと呼ばれるものです。 今回紹介した論文では、信頼できるモデルかどうかを確認するための方法として、局所的な説明をするためのアルゴリズムであるLIMEと大域的な説明をするためのアルゴリズムであるSP-LIMEを解説しました。 これらは、任意のモデルに適応ができる、いわば後からXAIを実現するための手法となっています。 LIMEでは対象となるデータの周辺のデータを使って、境界を解釈しやすいモデルで近似しました。 一方、SP-LIMEでは、LIMEを全てのデータにあてはめ、多くのデータに渡って重要と言われる特徴を順番にあつめて、特徴の重要度を計算しました。 また、LIMEなどを用いることで、モデルが信頼しうる予測をしているかどうかを判断できました。 それに加えて、予測に寄与するはずのない特徴を発見することで、データセットから不要なデータを省くことができることもわかりました。 以上が、ブラックボックスなアルゴリズムを説明可能なAIにするという話でした。
• #13: 今回紹介したLIMEはPythonのライブラリが公開されているため、簡単に実装に組み込んで試すことができます。 理論だけ学んでもわかりにくいと思うので、実際のデータで是非試してみてください。 また、今回は説明可能なAIとしてLIMEを紹介したのですが、ブラックボックスなアルゴリズムを無理やり解釈すること自体無理があるという主張もあります。 2019年に出された論文では、ブラックボックスなアルゴリズムを無理に解釈しようとしてもちゃんと解釈できないので、最初から解釈可能なモデルを考える必要があるということなどが議論されています。 LIMEを使えば、ブラックボックスのアルゴリズムが必ず説明できると信じきらずに、いろいろな主張をきちんと学んで、必要に応じて使っていきましょう。
• #14: 最後にチャンネルの紹介をさせてください。 このチャンネルでは、経営やデータサイエンスや開発の話をしていきます。 聞きたい話のリクエストも募集中です。 もし、この動画が役に立ったら高評価とチャンネル登録をお願いいたします。
• #16: L(f, g, π): 損失関数。元のモデルfと、局所的に解釈可能にするモデルgのそれぞれの予測値がどれだけ離れてるか (πは予測したいデータとサンプリング点との距離をはかるカーネル関数であり、これにより局所性を捉える) Ω: モデルgの複雑さ → これらの和が最小になるようなgを見つける Require 元の分類器f とN個のサンプルを用意 ← サンプリングはx’の成分をランダムに0にデータ(新しく生成している。近いとこも出るし、遠いとこも出る) 元の特徴x とその解釈可能な表現x’ を用意 解釈可能な表現は、典型的には{0, 1}のバイナリ(文章だとBag-of-words) 距離をはかるカーネル関数π と、説明に加える特徴の個数Kを用意 K-Lasso → 先にLasso回帰で使用する特徴をK個選択し、その特徴を用いて再度線形回帰(実装ではRidgeらしいです) → 回帰係数がそのまま選択した特徴それぞれの特徴重要度となる
• #17: ここでは、SP-LIMEによって抽出された特徴がモデルに
• #18: 個々の予測に対するシミュレーション (分類問題) 初めに25%の特徴を信頼できないものとしてランダムに選択 テストデータの予測に対し、ラベルをつける 局所的な線形分類器から信頼できない特徴を除いたときに予測が変化する → 信頼できない 予測が変化しない → 信頼できる 信頼できるとラベルづけされたデータに関して、元の特徴の時の予測値と、25%の特徴を除いた時の予測値についてF1scoreを算出 これが高いと、局所的な線形分類器が信頼できる(説明が信頼できる)と言える？
• #19: SP-LIMEの効果を確かめたい SP-LIMEによる説明をモデル選択に役立てられるか データセットにノイズの多い特徴を10個追加した ランダムフォレストを2つ作成 どちらも検証精度はとてもよい ただしテスト精度はそれぞれで5%以上異なるように 優れたモデルを選択できない状況 模擬ユーザーがb件の予測に登場する人工的な特徴を信頼できないものとしてマークして、それに続き検証セットの予測全体のうち何件を信頼するかを評価する (4つの手法それぞれでモデル全体として重要な特徴を決めている？) b件見せて、信頼できると判断した数が多かった分類器を選択する → 800回繰り返す SP-LIMEで選択されたものはbが少なくても高い正解率 すくない検証セットの予測で他の手法よりもモデルをよく説明している
• #20: 被験者は、機械学習の専門家ではなく、宗教に関する基本的な知識を持つ人たち 説明に使う特徴の数、文書の数はともに6とし、被験者にどのアルゴリズムが適しているか選択してもらった 2つのアルゴリズムの結果を見せることを6回繰り返す (文書の数だけ) 2つのアルゴリズム 元の特徴そのまま 不要だと思われる特徴を排除したもの テストデータでの精度だけをみると元の特徴そのまま使用したアルゴリズムがよかった でも実世界で使える適したアルゴリズムは「クリーン」な後者のアルゴリズム 被験者100人に対し、どちらのアルゴリズムが優れたものか選択してもらう 説明手法 greedy または LIME グローバル解釈 Random pick または Submodular pick 精度だけでは「クリーン」な方の最適なアルゴリズムを選択できなかったが、説明を加えることで選択できるようになった
• #21: 分類器が信頼できないとなった場合、特徴量を見直すことが考えられる 説明によって不要な特徴を取り除くことが可能 各被験者に対して説明文(LIMEによる)を見せて削除すべき単語(特徴)にマークをつけてもらう この選択を異なる被験者を介して何段階か行い、最終的に残った特徴それぞれで250個の分類器が出来上がる イメージ: ①10人→10個の分類器 ②5人→50個の分類器... 説明方法には SP-LIME または RP-LIME ①→②...の各ラウンドの分類器の性能を薄い線で、その平均精度を実線で示している ラウンドが増える(不要な特徴を削除)と精度が上がる モデルの説明にはSP>RP 被験者は専門家ではなく、ただ説明をみて特徴の選択を繰り返しただけであるがモデル改善をはたすことができた
• #22: 収集したデータにはのぞましくないデータが入っていることがある これを生のデータや予測から見抜くことは難しい 例) オオカミの写真とエスキモー犬(ハスキー)の写真を区別するタスク オオカミの背景には必ずゆき ハスキーの背景には雪はない → 雪があればオオカミと予測するように意図的に学習させた(a) はハスキーだが、背景に雪があるためにオオカミと予測された 大学院生にアンケートをとった(before: 説明を見せない, After: 説明を見せる) このアルゴリズムが実世界でうまく機能すると思うか その理由は何か このアルゴリズムがオオカミとハスキーをどのように区別していると思うか 結果 -> 右の表です 説明を見せる前は1/3以上が分類器を信頼 見せたあとはほとんどの被験者が正しい洞察を示した さらに分類器への信頼も大幅に低下した 個々の予測を説明することで、分類器が信頼できないタイミングやその理由を知るための洞察を得ることができることを実証できた