協力ゲーム理論でXAI (説明可能なAI) を目指すSHAP (Shapley Additive exPlanation)

Editor's Notes

• #2: 今回は協調ゲーム理論で説明可能なAIを目指すSHAPについて解説します。 機械学習のアルゴリズムが複雑化し、ブラックボックス化が進む中で、機械学習の中身を明らかにする説明可能なAIが注目されています。 説明可能なAIのアルゴリズムとして過去にLIMEという手法を紹介しましたが、今回はLIMEと並んで有名な手法であるSHAPを取り扱います。 説明可能なAIが必要になる背景や、解釈性の種類などについてはLIMEの動画で解説しているので、そちらもぜひ御覧ください。 このチャンネルは機械学習の様々な手法についても解説しています。 興味のある方はチャンネル登録をお願いします。
• #3: 今回は、機械学習を説明するExplanation Modelとはなにかをまず説明し、次にLIMEなど既存手法を一般化したAdditive Feature Attribution Methodsについて説明します。 次に、ここから今回の動画のメインテーマである協調ゲーム理論で使われるShapley Valueがどのように計算されるかを解説します。 このShapley ValueはSHAPのアルゴリズムの基本となるものなので、理解しやすいようにできる限り丁寧に解説します。 そして、Shapley Valueを機械学習の解釈に用いたSHAPを解説し、計算が爆発してしまうSHAPの性質とその近似について簡単にお話します。 今回参考にした論文は、A Unified Approach to Interpreting Model Predictionsという論文で、引用件数が4000件超えと機械学習の研究でも有名な論文となっています。 それではやっていきましょう。
• #4: まず最初にExplanation Modelとはなにかについて説明します。 最近良く使われているディープラーニングなどのモデルは、人間にとって複雑すぎてその挙動を解釈することが難しくなっています。 そのため、複雑なモデルと似たような挙動をする簡単なモデルで近似してモデルを解釈しやすくします。 この解釈しやすいモデルがExplanation Modelとなっており、線形回帰など単純なモデルがよく使われます。 もちろん、元のモデルが解釈しやすいものであれば、Explanation modelは元のモデルそのものということになります。
• #5: Explanation Modelを提案しているLIMEなどの既存の手法は、人間が簡単に理解できる線形結合によるモデルを使用しているので、Additive Feature Attribution Methodsと呼ばれるものとして一般化することができます。 Additive Feature Attribution Methodsという名前は今は覚えなくてもいいですが、線形モデルによる近似がよく行われていることを理解しておきましょう。
• #6: ここまでExplanation Modelが単純な手法で解釈しやすいものになっており、既存の手法はだいたい線形結合の手法になっていることを説明しました。 ここで、Explanation Modelとして好ましい3つの性質についてお話します。 Explanation ModelはLocal Accuracy, Missigness, Consistencyの3つの性質をもつことが好ましいと言われています。 1つめのLocal Accuracyとは、局所的に元のモデルと一致する性質です。 2つめのMissingnessは予測に関係のない特徴の重要度が0になる性質です。 3つめのConsistensyは、少しわかりにくいのですが、複数モデルを比較したとき、あるモデルにおいて、特定の特徴量が他のモデルよりも影響が大きい場合は、その特徴量の重要度が高くなるという性質です。 そして、これら3つの性質を満たすものが、今回紹介するShapley Valueを用いたSHAPとなります。
• #7: ここからはSHAPで使われているShapley Valueについて説明します。 Shapley Valueは協力ゲーム理論で使われる報酬分配方法の１つです。 協力ゲーム理論では、複数人でタスクをこなしたときに、得られる報酬をどのように分配するのがよいかを検討します。 報酬を分配する一番単純な方法は、参加した全員で等分割する方法です。 しかし、等分割する方法では、タスクに貢献しないでサボっていた人にも同じ報酬が与えられるので公正ではありません。 そこで、報酬を分配する公正な方法の1つとしてあるのが、貢献度に応じた分配方法であるShapley Valueです。 A、B、Cの三人で報酬をわけるときに、Aさんが一番貢献したからAさんの報酬を高くするというようなものです。
• #8: 複数人で報酬を分けるときのイメージを少人数で報酬を分配する例で説明します。 タスクをAさん1人でやった場合、Aさんは2の報酬が得られて、Bさん1人でやった場合、Bさんは3の報酬を得られるとします。 次に、AさんとBさんの二人でタスクをやったときに10の報酬が得られるとすると、この報酬をAさんとBさんでどのように分配すればいいでしょうか。 Aさんは1人で2の報酬が得られる実力、Bさんは1人で3の報酬を得られる実力ということで、2対3に分配して、Aさんは4、Bさんは6の報酬を得れば貢献度を考慮できていると言えます。 ちなみにこの協調ゲームでは、複数人でタスクをこなしたときに、その部分集合でタスクをこなしたとき以上の報酬が手に入れられるという条件が前提として入っていることに注意してください。
• #9: 次は人数を増やして3人で報酬を分ける場合を考えてみましょう。 まず1人で得られる報酬はAさんは2、Bさんは3、Cさんは4だとします。 そして2人で得られる報酬は、AさんとBさんのペアの場合10、BさんとCさんのペアの場合8、CさんとAさんのペアの場合9とします。 最後に、AさんBさんCさんの全員でタスクをこなしたときに得られる報酬を15であるとします。
• #10: 今回の場合も、2人で報酬を分ける場合と同様にそれぞれが1人で得られる報酬の比率で報酬を分けることもできます。 その場足、Cさんは単体で一番報酬が高い4を得ることができるので、Cさんが一番高い報酬が得られるということになります。 しかし、2人ペアをみたとき、Cさんが加わったペアはA, Bだけのペアよりも得られる報酬が少なくなっています。 個人で報酬を大量に得られるCさんは、チームだと大きなパフォーマンスが得られないという状況です。 つまり、チームで得られた報酬を、チームプレイが不得意なCさんに単体での実力が高いという理由で一番高い報酬を与えることは、公正ではないのではという疑問が出てくるということです。
• #11: ここで、出てくるのが、特定の人が増えることによって、どのくらい報酬が増えるかという限界貢献度という考え方です。 限界貢献度では、Cさんが加わることによって得られる報酬の増加のパターンを全て列挙します。 まず一番単純なものは、誰もいない状態からCさんが加わった場合です。 この場合、誰もいない場合は報酬が0だったものがCさんが加わることで4の報酬が増えます。 この増えた報酬である4が限界貢献度と言われるものです。 次に、Bさん1人にCさんが加わるパターンでは、Bさん1人のときに得られていた報酬3からBさんとCさんの2人で得られる報酬8になるので、この場合のCさんの限界貢献度は5となります。 同様に、AさんにCさんが加わるパターンでは、Aさん1人のときに得られていた報酬2からAさんとCさんの2人で得られる報酬9になるので、この場合のCさんの限界貢献度は7となります。 最後に、AさんとBさんのペアにCさんが加わる場合は、AさんとBさんの2人で得られていた報酬12にCさんが協力して報酬が15になるので、この場合のCさんの限界貢献度は3となります。 これで、Cさんが加わることでどのくらい報酬が増えるかの全ての組合せを網羅できました。
• #12: ここで、限界貢献度のパターンを考えるときに1つだけ注意点があります。 限界貢献度では、あとからCさんが加わるという条件を足したため、組合せから順序に変わっています。 そのため、限界貢献度の期待値を計算するためには、どの順番でだれが加わったかを全て考慮する必要があります。 もともとの問題設定が組合せの問題だったのですが、順序を考慮した問題に置き換えているため、全ての順序のパターンを網羅しないと期待値計算がおかしくなるということです。 そのため、最初にCさんが加わるパターンだと、C, B, AとC, A, Bの2つのパターンを考慮する必要があります。 どちらもCさんの限界貢献度は4となります。 もう一つは、最後にCさんが加わるパターンで、B, A, CとA, B, Cの2つのパターンを考慮する必要があります。 この場合のCさんの限界貢献度はどちらも3となります。
• #13: Cさんの全ての限界貢献度のパターンを列挙するとこのようになります。 Cさんが最初に加わる、C, B, AとC, A, BにおけるCさんの限界貢献度はどちらも4。 Cさんが2番目に加わる、B, C, AとA, C, BにおけるCさんの限界貢献度はそれぞれ5と7。 Cが最後に加わる、B, A, CとA, B, CにおけるCさんの限界貢献度はどちらも3となります。 これらを平均したCさんの限界貢献度の期待値は、13/3になります。 もともと3人で等分配したときの報酬が15わる3の5であるのに対して、13/3は小さい値なので、等分配よりも小さい報酬となっていることがわかります。 Cさん単体でタスクをこなしたときに得られる報酬が高いから一番高い報酬を払う場合と、逆の結果になっているということです。 このように限界貢献度を利用した報酬がShapleyValueと呼ばれるものです。
• #14: では、協調ゲーム理論のShapley Valueをどのように機械学習の解釈に使えばよいのでしょうか。 Shapley Valueを理解していれば実は簡単で、A, B, Cと報酬を分配していたものを特徴量に置き換え、予測に対しての特徴量の重要度を分配していきます。 SHAPの詳細まで理解しなくても良いという人であれば、SHAPでは重要度を協調ゲーム理論における公正な分配方法で決定していると覚えておけば十分です。 これで協調ゲーム理論を機械学習の世界に置き換えるイメージできたと思うのですが、実は機械学習で限界貢献度を考えるときに大きな問題が出てきます。
• #15: それが、特徴量全ての組合せの予測を実施しないと限界貢献度の期待値を計算できないということです。 Shapley Valueでは、さきほどの3人で報酬を分けた例のように、全ての組合せでそのとき得られる報酬の計算が必要となります。 機械学習でも同様に正確なShapley Valueの期待値を計算するためには、全ての特徴量の組合せでモデルを作る必要が出てきます。 つまり、n個の特徴量がある場合は、2のn乗個ほどのモデルを作らないといけないわけです。 特徴量が数千個や数万個あるような場合、モデルを作る計算が終わらなくなることは容易に想像できます。 そこで、SHAPでは、全ての組合せのモデルを構築するのではなく、予測値の条件付き期待値で近似することで計算量を削減します。
• #16: SHAPの近似手法としては、モデルに依存しない手法と、特定のモデルに特化した手法などが提案されています。 今回は、説明が長くなるので、これらの詳細については、また要望があれば解説動画を出したいと思います。
• #17: まとめをします。 序盤では、モデルを解釈するときに使う単純な近似のモデルであるExplanation Modelを紹介しました。 複雑なモデルはそのままでは解釈ができないため、Explanation Modelを用いた解釈が必要になるということですね。 また、既存の機械学習を説明する手法であるLIMEなどは、Additive Feature Attribution Methodsという枠組みで一般化できることを紹介しました。 そして、今回の動画のメイントピックであるSHAPで使われている協調ゲーム理論のShapley Valueについて解説しました。 ある人が加わることによって増える報酬である限界貢献度の期待値であるShapley Valueは、複数人で報酬をわけるときの公正な分配な方法となっています。 最後に、Shapley Valueにおける報酬の分配を特徴量の重要度の分配に見立てたSHAPを紹介し、SHAPの計算が特徴量が増えるに連れ爆発的に増えることと、その対策として条件付き期待値を使った近似が必要であることをお話しました。 すこし、説明が長くなってしまったのですが、SHAP自体は、説明可能なAIの分野でよく使われる手法となっており、オープンソースも公開されています。 短いコードでSHAPを試すことができるので、概念を学ぶだけではなく、ぜひ実装して出てくる結果を考察してみてください。
• #18: 最後にチャンネルの紹介をさせてください。 このチャンネルでは、経営やデータサイエンスや開発の話をしていきます。 聞きたい話のリクエストも募集中です。 もし、この動画が役に立ったら高評価とチャンネル登録をお願いいたします。
• #20: 既存手法はどれも同じように定式化できる Additive feature attribution method → LIMEなどの既存手法に共通する手法をさす この式の解が一つ定まるようにしたい → Shapley値の導入
• #21: SHAPではこれらを満たす、協力ゲーム理論の枠組みであるshap値を導入 → LIMEなどの既存手法を包含しており、唯一の理想解が得られるようにした → shap値とは？(次スライド)
• #22: 例についてはこちらを参考にしています https://blog.tsurubee.tech/entry/2021/07/19/120541
• #24: Shapley value をどうやって機械学習に対応させるか ある特徴がなかった時の予測値を出すのに特徴量全ての組み合わせのモデルが必要になってしまうので工夫が必要 → 予測値の条件付き期待値
• #25: z_1を与えた時の予測値はどの程度か？ 定義通り計算するなら、特徴量を追加する順番も考慮してモデルを複数用意しなければならない E[f(z) |z_1=x_1] → x_1だけ与えた時の予測値の期待値 → x_1以外の特徴量の分布を用いて、条件付き期待値を求めることにしている → 特徴量の独立性とモデルの線形性を仮定して、次のように近似 = f([z_1, E[z_1以外]]) (z_1以外の変数には平均値を代入するイメージ 4章式9~12)
• #26: では、実際、SHAPは役に立つかどうかについて、SHAPを用いた実験を紹介します。 kernel shap, Shapley sampling, limeで算出したshap値とその真値を比較 モデルの評価数を増やす → shap値の推定のために必要なサンプリングを多く行う グラフは同じサンプリング数で200回繰り返した時の推定値の10%, 90%を示す