![Advantage（H-statistic）
• 意味のある解釈ができる
• 相互作用によって説明できる分散の割合
• [0, 1]の無次元な量なので、特徴間・モデル間で同等な比較ができる。
• 2次元以上の任意の相互作用を分析することも可能。
Disadvantage （H-statistic）
• 部分従属プロットと同様の問題を持つ
• 計算コストが高い。サンプリング近似をすると、推定結果が不安定になる可能性がある。
• 独立して特徴をシャッフルできるという仮定を置いている
• どの程度大きければ、相互作用が強いといえるのかも難しい。
• （特殊な場合を除いて）有意性の検定法がない
• 相互作用の強さはわかるが、どのような相互作用なのか具体的にはわからない
• 関心のある相互作用について2次元の部分従属プロットを作成するとよい
• 画像分類には使えない。
• 入力がピクセルの場合、H-statisticは意味をもたない
iml:: Interaction$new()](https://image.slidesharecdn.com/how-to-use-in-rmodel-agnosticdata-explanation-190301133559/85/How-to-use-in-R-model-agnostic-data-explanation-with-DALEX-iml-96-320.jpg)
Ad
More Related Content
What's hot (20)
Similar to How to use in R model-agnostic data explanation with DALEX & iml (20)
![[DL輪読会]Meta-Learning Probabilistic Inference for Prediction](https://cdn.slidesharecdn.com/ss_thumbnails/20181214dl-181218052422-thumbnail.jpg?width=560&fit=bounds)
Ad
More from Satoshi Kato (14)
Ad
How to use in R model-agnostic data explanation with DALEX & iml
- 1. モデルを跨いでデータを見たい “model-agnostic data explanation” IML本をベースに、（機械学習）モデルの説明用パッケージをいくつか紹介します 第76回R勉強会＠東京（#TokyoR） 1. Interpretability 2. 使ってみた： mlr 3. 使ってみた： DALEX 4. 使ってみた： iml
- 4. 人にやさしく • 2.6 Human-friendly Explanations は、是非原著を！ • https://christophm.github.io/interpretable-ml-book/explanation.html • 2.6.1 What Is an Explanation? • 2.6.2 What Is a Good Explanation? • 約2,200 words..ガンバレ！ 最近、本を読みました
- 5. Explain! Explain! Explain! The Daleks are a fictional extraterrestrial race portrayed in the Doctor Who BBC series. Rather dim aliens, known to repeat the phrase Explain! very often. Daleks were engineered. They consist of live bodies closed in tank-like robotic shells. They seem like nice mascots for explanations concerning Machine Learning models. https://pbiecek.github.io/DALEX_docs/ 最近、本を読みました
- 10. Properties of Explanation Methods（1） Expressive Power（表現力） • 何をどう説明しているか？ • IF-THEN rules, decision trees, a weighted sum, natural language Algorithmic Complexity（複雑性） • 説明を生成する手続きがどのくらい複雑か？ • メソッドの計算時間がボトルネックとなる場合がある 解釈可能性のための 「説明」のしかた／されかた の評価 https://christophm.github.io/interpretable-ml-book/properties.html
- 11. Properties of Explanation Methods（2） Translucency (不透明性) • 説明方法が機械学習モデルにどの程度依存しているか？ • 高い： たとえば、線形回帰モデル（重みを見ればわかる） • 低い： 入力→出力しか得られない（ブラックボックス） Portability （移植性） • 説明方法を適用できる機械学習モデルの範囲 • 高い： ブラックボックスでも説明できる方法（入力→出力さえあればよい） • 低い： モデル固有の性質やアルゴリズムに依存する説明方法 解釈可能性のための 「説明」のしかた／されかた の評価 https://christophm.github.io/interpretable-ml-book/properties.html
- 12. Properties of Individual Explanations (1) Accuracy • 説明モデル自体のデータの予測精度 • ブラックボックスモデルの予測の代わりに説明モデルを使用する場合には重要 Fidelity（忠実度） • ブラックボックスの予測を説明モデルがどれだけうまく近似しているか • 説明モデルの忠実度が高い場合、説明モデルの予測精度も高くなる Degree of Importance（重要度） • ある説明や説明に用いられる変数が、説明全体においてどれだけ重要か • ある予測に、どのルールのどの条件が最も重要だったか明らかか？ 「説明」の評価 https://christophm.github.io/interpretable-ml-book/properties.html
- 13. Properties of Individual Explanations (2) Novelty（新規性） • 未見の予測対象に対するブラックボックスモデルの振る舞いが、説明モデルにおいても 反映されるか？ • 予測対象が、訓練データの分布から離れているとき、学習済モデルの予測が不正確に なり、説明が役に立たなくなる可能性がある Representativeness（代表性） • 説明のカバレッジがどの程度あるか？ • モデル全体を説明する（例えば、線形回帰モデルにおける重みの解釈） • 個々の予測だけを説明する（例えば、Shapley値） https://christophm.github.io/interpretable-ml-book/properties.html 「説明」の評価
- 14. Properties of Individual Explanations (3) Consistency（一貫性） • 複数のモデルで同じタスクについて同様の予測が得られるとき、モデル間で説明がどの程 度異なるか • 予測が一貫したデータの背景に依存している場合 • どんなモデルであれ説明は非常に似ることが期待される • 異なるモデルが、異なる特徴量セットで同じような予測を生成する場合 • 似たような予測に対する説明が異なる（羅生門効果） https://christophm.github.io/interpretable-ml-book/properties.html 「説明」の評価
- 15. the alternate features search • Lasso変数選択の際の見落としの問題に対する提案 • 代替可能なモデル(変数候補)を提示する • 予測はほとんど変わらないが、納得感のある別の説明を得られる可能性 S. Hara, T. Maehara, Finding Alternate Features in Lasso, arXiv:1611.05940, 2016. https://github.com/sato9hara/LassoVariants https://github.com/katokohaku/AlternateLassoR （参考）Rashomon Effectの観点から 元の 変数 置換 候補
- 16. Taxonomy of Interpretability Methods Intrinsic • モデルの複雑性を制約することで、モデルそのものが解釈可能 Post hoc • データからモデルを学習した後で説明手法を適用する
- 17. Taxonomy of Interpretability Methods Model-specific • モデルの設計思想やアルゴリズムを説明に転用する Model-agnostic • モデルの入力→出力に対する反応を観察する Example-based • 代表的・イレギュラーなデータに対するモデルの反応を観察する
- 18. 本日の話題 Intrinsic Post hoc Model-Specific Methods • Linear Regression • Logistic Regression • GLM, GAM and more • Decision Tree • Decision Rules • RuleFit • Naive Bayes Classifier • K-Nearest Neighbors • Feature Importance (OOB error@RF; gain/cover/weight @XGB) • Feature Contribution (forestFloor@RF, XGBoostexplainer, lightgbmExplainer) • Alternate / Enumerate lasso (@LASSO) • inTrees / defragTrees (@RF) • Actionable feature tweaking (@RF/XGB) Model- Agnostic Methods Intrinsic interpretable Model にも適用可能 • Partial Dependence Plot • Individual Conditional Expectation • Accumulated Local Effects Plot • Feature Interaction • Permutation Feature Importance • Global Surrogate • Local Explanation (LIME, Shapley Values, breakDown) Example- based Explanations ?? • Counterfactual Explanations • Adversarial Examples • Prototypes and Criticisms • Influential Instances DALEX & iml package
- 19. Why model-agnostic ? • モチベーション • モデル横断的にデータと予測を評価・比較したい • うれしさ • モジュール化できる ＝ 解釈のプロセスを自動化できる • ブラックボックスモデルの置き換えを容易化できる • ※ intrinsically methods には別の使い道がある model-agnostic： モチベーション & 効用
- 20. ワークフロー： Data → mlr:Model → DALEX/iml Trained MODEL 説明のアプローチ 0. 説明の準備 1. モデルの性能や特性の評価 2. 特徴量（変数）に対するモデルの応答をみる 3. あるデータに対する予測がどのように得られたか 説明する
- 21. https://cran.r-project.org/package=iml • 書籍の中で紹介されている解析手法をまとめて パッケージとして提供 • R6クラスをベースとする独自実装 • 書籍ではその他の実装も、(あれば)紹介してい るので、お好みで。 • CRANからインストール可能 本日のパッケージ： iml
- 23. https://cran.r-project.org/package=DALEX • 既存の手法＋著者たちがこれまでに開発・公表した アルゴリズムのラッパー • モデル間の比較を強く意識した設計 • 基本的には既存の外部パッケージに依存 • CRANからインストール可能 本日のパッケージ： DALEX
- 24. ワークフロー： DALEX https://pbiecek.github.io/DALEX_docs/2-architecture.html#architecture Trained MODEL model_performance() variable_importance() ceteris_paribus() variable_response() “pdp” “ale” “factor” breakDown:: broken() explain() observation Ｃｖ
- 25. iml vs DALEX policy method name iml DALEX residuals and goodness of fit ✘ ✔ permutation importance ✔ ✔ global surrogate Tree surrogate ✘ Merging Path Plot (PDP for categorical data) ✘ ✔ Partial Dependence Plot (PDP for continuous data) ✔ ✔ Individual Conditional Expectation (ICE) ✔ Ceteris Paribus Plots Accumulated Local Effects (ALE) Plot ✔ ✔ Feature Interaction ✔ ✘ LIME ✔ ✘ SHAPLY value ✔ ✘ breakDown ✘ ✔ local interpretation (for single prediction) understand feature(s) understand entire model
- 26. : Machine Learning in R • Rで提供されるさまざまな機械学習モデル（パッケージ）に対するgenericな フレームワークを提供する • Classification / Regression / Survival analysis / Clustering • 各モデルのパラメータなどを隠蔽することで、統一的なインターフェースによって、 一連のワークフローを共通化する • R6ベースに移行するかも？ → https://mlr-org.com/ https://mlr3.mlr-org.com/
- 28. ワークフロー： mlr Trained MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 29. ワークフロー： mlr MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 30. 今回のデータ パラメータ探索方法の設定 探索結果の評価の設定 探索パラメータの設定 PBImisc packageからコピーされたデータセット 1. m2.price ＝ 面積当たり価格 2. surface ＝ 面積 (m2) 3. n.rooms ＝ 部屋数 (面積と相関) 4. district ＝ アパートがある地区（10 levels） 5. floor ＝ 階数 6. construction.date ＝ 築年数 apartment データセット
- 31. ワークフロー： mlr MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 32. ワークフロー： mlr MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 33. ワークフロー： mlr MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 34. ワークフロー： mlr MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 35. ワークフロー： mlr MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 36. ワークフロー： mlr MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 37. ワークフロー： mlr MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 38. ワークフロー： mlr MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 39. ワークフロー： mlr MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 40. ワークフロー： mlr MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 41. ワークフロー： mlr MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 42. ワークフロー： mlr Trained MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 43. ワークフロー： mlr Trained MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 44. ワークフロー： mlr MODEL Data Taskの定義 Learnerの選定 パラメータ探索方法の設定 探索結果の評価の設定 Learnerの定義 探索パラメータの設定 パラメータのチューニング Learnerのパラメータ設定
- 45. ワークフロー： Data → mlr:Model → DALEX/iml Trained MODEL 説明のアプローチ 0. 説明の準備 1. モデルの性能や特性の評価 2. 特徴量（変数）に対するモデルの 応答をみる 3. あるデータに対する予測がどのように 得られたか説明する
- 47. https://github.com/christophM/iml Trained MODEL Predictor 準備： iml Data
- 48. 学習したモデルの評価と比較： DALEX（準備） https://pbiecek.github.io/DALEX_docs/2-architecture.html#architecture MODEL model_performance() variable_importance() ceteris_paribus() variable_response() “pdp” “ale” “factor” breakDown() observation Ｃｖ explain()
- 49. 準備： DALEX https://pbiecek.github.io/DALEX_docs/2-architecture.html#architecture MODEL model_performance() variable_importance() ceteris_paribus() variable_response() “pdp” “ale” “factor” breakDown() explain() observation Ｃｖ
- 50. 準備： DALEX https://pbiecek.github.io/DALEX_docs/2-architecture.html#architecture MODEL model_performance() variable_importance() ceteris_paribus() variable_response() “pdp” “ale” “factor” breakDown() explain() observation Ｃｖ mlrの予測結果から予測値を抜き出す関数を定義する
- 51. ワークフロー： Data → mlr:Model → DALEX/iml Trained MODEL 説明のアプローチ 1.モデルの性能や特性の評価 2. 特徴量（変数）に対するモデルの 応答をみる 3. あるデータに対する予測がどのように 得られたか説明する
- 52. Residuals & goodness-of-fit policy method name iml DALEX residuals and goodness of fit ✘ ✔ permutation importance ✔ ✔ global surrogate Tree surrogate ✘ Merging Path Plot (PDP for categorical data) ✘ ✔ Partial Dependence Plot (PDP for continuous data) ✔ ✔ Individual Conditional Expectation (ICE) ✔ Ceteris Paribus Plots Accumulated Local Effects (ALE) Plot ✔ ✔ Feature Interaction ✔ ✘ LIME ✔ ✘ SHAPLY value ✔ ✘ breakDown ✘ ✔ local interpretation (for single prediction) understand feature(s) understand entire model
- 53. Residuals & goodness-of-fit https://pbiecek.github.io/DALEX_docs/2-architecture.html#architecture MODEL model_performance() variable_importance() ceteris_paribus() variable_response() “pdp” “ale” “factor” breakDown() explain() observation Ｃｖ
- 56. Empirical Cumulative Distribution Function (ecdf) of residual error Residuals & goodness-of-fit 当てはまりが良い
- 57. Permutation importance policy method name iml DALEX residuals and goodness of fit ✘ ✔ permutation importance ✔ ✔ global surrogate Tree surrogate ✘ Merging Path Plot (PDP for categorical data) ✘ ✔ Partial Dependence Plot (PDP for continuous data) ✔ ✔ Individual Conditional Expectation (ICE) ✔ Ceteris Paribus Plots Accumulated Local Effects (ALE) Plot ✔ ✔ Feature Interaction ✔ ✘ LIME ✔ ✘ SHAPLY value ✔ ✘ breakDown ✘ ✔ local interpretation (for single prediction) understand feature(s) understand entire model
- 59. Permutation importance https://pbiecek.github.io/DALEX_docs/2-architecture.html#architecture MODEL model_performance() variable_importance() ceteris_paribus() variable_response() “pdp” “ale” “factor” breakDown() explain() observation Ｃｖ
- 60. variable_importance() • type = “difference“を指定すると、フルモデルからの相対値 （drop_loss - drop_loss_full_model）で表示する → モデル同士の比較用
- 63. Advantage • 解釈しやすい • ターゲット特徴量の情報を壊すと予測性能が下がる • モデルの再学習を必要としない • 予測対象のデータを操作するだけで良い Disadvantage • 訓練データで計算するべき？テストデータを使用するべき？ • よくわかっていない。 • Permutationによるランダム性（値の「ゆれ」が生じる） • 安定化させるためには繰り返しをとって平均すればよいが、計算コストがかかる • 特徴量の間に強い相互作用がある場合、重要度にバイアスが発生する • 相関の高い変数間で重要度が「分割」される • 相関の高い別の特徴が、ある変数のシャッフルに対して補完的に振る舞うため Permutation importance
- 65. ワークフロー： Data → mlr:Model → DALEX/iml Trained MODEL 説明のアプローチ 1. モデルの性能や特性の評価 2.特徴量（変数）に対するモデルの 応答をみる 3. あるデータに対する予測がどのように 得られたか説明する
- 66. Partial Dependence Plot policy method name iml DALEX residuals and goodness of fit ✘ ✔ permutation importance ✔ ✔ global surrogate Tree surrogate ✘ Merging Path Plot (PDP for categorical data) ✘ ✔ Partial Dependence Plot (PDP for continuous data) ✔ ✔ Individual Conditional Expectation (ICE) ✔ Ceteris Paribus Plots Accumulated Local Effects (ALE) Plot ✔ ✔ Feature Interaction ✔ ✘ LIME ✔ ✘ SHAPLY value ✔ ✘ breakDown ✘ ✔ local interpretation (for single prediction) understand feature(s) understand entire model
- 67. What-If (ceterisparibus) plot for single observation ある観察に対して、注目する変数以外はすべて同じ値を持つ観察 がたくさんあったとき、対象の変数の値の増減によって、予測値がどう 変化するか？
- 68. What-If plot for single feature + other observation (ICE) ある観察の予測値の変化を観察したとき ほかの観察の予測値はどう振る舞っているか？
- 69. What-If + other observation (ICE) + average line (PD) ある観察の予測値の変化を観察したとき ほかの観察との平均的な振る舞いはどうなっているか？
- 70. Partial Dependence (PD) + Individual Conditional Expectation (ICE) 全ての観察における平均的な振る舞いはどうなっているか？ 全ての観察で、注目する変数について周辺平均を取る
- 71. Partial Dependent Plot https://pbiecek.github.io/DALEX_docs/2-architecture.html#architecture MODEL model_performance() variable_importance() ceteris_paribus() variable_response() “ale” “factor” breakDown() explain() observation “pdp”
- 72. モデル間の比較： variable_response(..., type = "pdp")
- 73. Advantage • 素人にも直感的にわかりやすい • 実装も簡単 Disadvantage • 2変数以上は視覚化できない • 通常のヒトは3次元に暮らしているため • 実際のデータ点の分布を省略すると誤解を招く可能性がある • x軸にデータポイントのラグをプロットする等の工夫をするとよい • データの不均一性が平均されることでマスクされる可能性がある • ICE Plotと併用するとよい • 周辺分布の計算のために特徴同士に独立性を仮定している。 • 単純な値の置換により、身長2m体重30Kgとか出てきても気にしない • 周辺分布ではなく条件付き分布で扱うAccumulated Local Effect (ALE) plotsが解決策のひとつ。 Partial Dependence Plot
- 74. • データの不均一性が平均されることでマスクされる可能性がある • ICE Plotと併用するとよい • ICE Plotはすべてのデータを描画すると煩雑(というか真っ黒)になるので、適 当にサンプリングするとよいとのこと。 Disadvantage： Partial Dependence Plot PD + ICE Plot https://arxiv.org/abs/1309.6392
- 75. Partial Dependence (PD) + Individual Conditional Expectation (ICE) • DALEX自体はICEplotに対応していないが、同作者のceterisParibusで描画できる • imlパッケージでは普通に“ice”として機能提供
- 76. • 周辺分布の計算のために特徴同士に独立性を仮定している。 • その仮定の下で、残りの変数を固定したまま対象の変数を置き換える • x1とx2の２変数による予測 f(x1, x2)についてのPDを考えたとき、 x1とx2の間に相関があると、推定にバイアスが生じる Disadvantage： Partial Dependence Plot X1=30kgの平均を求めるとき、 単純な値の置換によって 身長2mの人が 体重30Kgだとしたら？ のような、 極端なwhat-ifが生成されても 気にせず予測して平均する 解決策のひとつが、 周辺分布ではなく条件付き分布で扱う Accumulated Local Effect (ALE) plots
- 77. Accumulated Local Effects (ALE) Plot policy method name iml DALEX residuals and goodness of fit ✘ ✔ permutation importance ✔ ✔ global surrogate Tree surrogate ✘ Merging Path Plot (PDP for categorical data) ✘ ✔ Partial Dependence Plot (PDP for continuous data) ✔ ✔ Individual Conditional Expectation (ICE) ✔ Ceteris Paribus Plots Accumulated Local Effects (ALE) Plot ✔ ✔ Feature Interaction ✔ ✘ LIME ✔ ✘ SHAPLY value ✔ ✘ breakDown ✘ ✔ local interpretation (for single prediction) understand feature(s) understand entire model
- 78. • 周辺分布の計算のために特徴同士に独立性を仮定している。 • その仮定の下で、残りの変数を固定したまま対象の変数を置き換える • x1とx2の２変数による予測 f(x1, x2)についてのPDを考えたとき、 x1とx2の間に相関があると、推定にバイアスが生じる (再掲) Partial Dependence Plotの問題点 X1=30kgの平均を求めるとき、 単純な値の置換によって 身長2mの人が 体重30Kgだとしたら？ のような、 極端なwhat-ifが生成されても 気にせず予測して平均する
- 81. モチベーション 注目する特徴の「値」の置き換えで生成したインスタンスを平均するのではなく 注目する特徴の「値」の近傍で予測値がどう動くかを観察したらよいのでは？ 注目する特徴の「値」の周りでモデルの勾配を観察したらよいのでは？ https://arxiv.org/abs/1612.08468
- 82. モチベーション x1= z3としたときの f(X)を求める x1=z4としたときの f(X)を求める 注目する特徴の「値」の置き換えで生成したインスタンスを平均するのではなく 注目する特徴の「値」の近傍で予測値がどう動くかを観察したらよいのでは？ 注目する特徴の「値」の周りの区間でモデルの勾配を観察したらよいのでは？
- 83. モチベーション x1= z3としたときの f(X)を求める x1=z4としたときの f(X)を求める 注目する特徴の「値」の置き換えで生成したインスタンスを平均するのではなく 注目する特徴の「値」の近傍で予測値がどう動くかを観察したらよいのでは？ 注目する特徴の「値」の周りの区間でモデルの勾配を観察したらよいのでは？ 勾配： f(X|x1= z3) ー f(X|x1= z4) Local Effect ＝ある特徴量の値の近傍でのモデルの傾き
- 84. Accumulated Local Effects (ALE) Plot 勾配： f(Xj|x1= z3) ー f(Xj|x1= z4) 勾配： f(Xj|x1= z3) ー f(Xj|x1= z4) 勾配： f(Xj|x1= z3) ー f(Xj|x1= z4) 勾配： f(Xj|x1= z3) ー f(Xj|x1= z4) 勾配： f(Xj|x1= z3) ー f(Xj|x1= z4) =ALE ある特徴量の近傍で、平均的に モデルの予測値がどう変化するか？ (Accumulated Local Effect) 注目する特徴の「値」の置き換えで生成したインスタンスを平均するのではなく 注目する特徴の「値」の近傍で予測値がどう動くかを観察したらよいのでは？ 注目する特徴の「値」の周りの区間でモデルの勾配を観察したらよいのでは？
- 85. モデル間の比較： variable_response(..., type = “ale")
- 86. モデル間の比較： variable_response(..., type = “ale")
- 87. Advantage • PDPとくらべて： • 特徴が相関していてもうまく行く • 計算量が少ない Disadvantage • PDPとくらべて： • コンセプトが分かりにくい • ICEプロットとの対照が出来ない • 変数が独立ならPDPでもよい Accumulated Local Effects (ALE) Plot
- 88. Merging Path Plot (factorMerger) policy method name iml DALEX residuals and goodness of fit ✘ ✔ permutation importance ✔ ✔ global surrogate Tree surrogate ✘ Merging Path Plot (PDP for categorical data) ✘ ✔ Partial Dependence Plot (PDP for continuous data) ✔ ✔ Individual Conditional Expectation (ICE) ✔ Ceteris Paribus Plots Accumulated Local Effects (ALE) Plot ✔ ✔ Feature Interaction ✔ ✘ LIME ✔ ✘ SHAPLY value ✔ ✘ breakDown ✘ ✔ local interpretation (for single prediction) understand feature(s) understand entire model 因子型（Factor）の変数に対する感度分析
- 89. DALEX:: Variable_response(…, type = “factor”) https://pbiecek.github.io/DALEX_docs/2-architecture.html#architecture MODEL model_performance() variable_importance() ceteris_paribus() variable_response() “pdp” “ale” “factor” breakDown() explain() observation
- 90. DALEX:: Variable_response(…, type = “factor”) • 因子型（Factor）の変数に対するPDP、みたいなもの • ANOVA によるpost hoc testにもとづいて、因子同士をグループ化する • 内部でfactorMergerパッケージが呼ばれている
- 91. Feature interaction policy method name iml DALEX residuals and goodness of fit ✘ ✔ permutation importance ✔ ✔ global surrogate Tree surrogate ✘ Merging Path Plot (PDP for categorical data) ✘ ✔ Partial Dependence Plot (PDP for continuous data) ✔ ✔ Individual Conditional Expectation (ICE) ✔ Ceteris Paribus Plots Accumulated Local Effects (ALE) Plot ✔ ✔ Feature Interaction ✔ ✘ LIME ✔ ✘ SHAPLY value ✔ ✘ breakDown ✘ ✔ local interpretation (for single prediction) understand feature(s) understand entire model
- 92. 概要 • RuleFit ※の論文中で提案されている H-statistic を指標とする • H-statistic は partial dependenceを分解することで得られる • 0 (interactionなし) ～ • 1 (f(x)の分散のうち、 100% がinteractionsに由来する). ※ アンサンブル木をLASSOで枝狩りする手法 Friedman, Jerome H, and Bogdan E Popescu. “Predictive learning via rule ensembles.” The Annals of Applied Statistics. JSTOR, 916–54. (2008)
- 94. https://github.com/christophM/iml iml::Interaction$new() Overall The interaction strength (H-statistic) for each feature with all other features
- 95. https://github.com/christophM/iml iml:: Interaction$new() 2-way interactions strength (H-statistic) between the selected feature and the other features
- 96. Advantage（H-statistic） • 意味のある解釈ができる • 相互作用によって説明できる分散の割合 • [0, 1]の無次元な量なので、特徴間・モデル間で同等な比較ができる。 • 2次元以上の任意の相互作用を分析することも可能。 Disadvantage （H-statistic） • 部分従属プロットと同様の問題を持つ • 計算コストが高い。サンプリング近似をすると、推定結果が不安定になる可能性がある。 • 独立して特徴をシャッフルできるという仮定を置いている • どの程度大きければ、相互作用が強いといえるのかも難しい。 • （特殊な場合を除いて）有意性の検定法がない • 相互作用の強さはわかるが、どのような相互作用なのか具体的にはわからない • 関心のある相互作用について2次元の部分従属プロットを作成するとよい • 画像分類には使えない。 • 入力がピクセルの場合、H-statisticは意味をもたない iml:: Interaction$new()
- 97. ALE plotPDP+ICE plot iml:: FeatureEffect$new() Interactionを確認した後は、PD/ALE plotで挙動を確認
- 98. ワークフロー： Data → mlr:Model → DALEX/iml Trained MODEL 説明のアプローチ 1. モデルの性能や特性の評価 2. 特徴量（変数）に対するモデルの 応答をみる 3.あるデータに対する予測がどのよう に得られたかを説明する
- 99. Global surrogate policy method name iml DALEX residuals and goodness of fit ✘ ✔ permutation importance ✔ ✔ global surrogate Tree surrogate ✘ Merging Path Plot (PDP for categorical data) ✘ ✔ Partial Dependence Plot (PDP for continuous data) ✔ ✔ Individual Conditional Expectation (ICE) ✔ Ceteris Paribus Plots Accumulated Local Effects (ALE) Plot ✔ ✔ Feature Interaction ✔ ✘ LIME ✔ ✘ SHAPLY value ✔ ✘ breakDown ✘ ✔ local interpretation (for single prediction) understand feature(s) understand entire model
- 102. Advantage • あらゆるブラックボックスモデルに対して使用できる。 • 実装と説明が容易 • R2値などでブラックボックスによる予測に対する近似精度を簡単に測定できる Disadvantage • 現実のタスクで、単純なサロゲートで良好な近似が得られるとは限らない • 選択した解釈可能なモデルの長所と短所をすべて引き継ぐ。 • モデルが出力する予測値について説明する（データの説明ではない） Iml::TreeSurrogate()
- 103. LIME policy method name iml DALEX residuals and goodness of fit ✘ ✔ permutation importance ✔ ✔ global surrogate Tree surrogate ✘ Merging Path Plot (PDP for categorical data) ✘ ✔ Partial Dependence Plot (PDP for continuous data) ✔ ✔ Individual Conditional Expectation (ICE) ✔ Ceteris Paribus Plots Accumulated Local Effects (ALE) Plot ✔ ✔ Feature Interaction ✔ ✘ LIME ✔ ✘ SHAPLY value ✔ ✘ breakDown ✘ ✔ local interpretation (for single prediction) understand feature(s) understand entire model
- 104. LIME（Locally Interpretable Model-agnostic Explanations） • 説明したい観察の周辺で、単純な線形モデルによる近似を行う • 近似モデルの重みが、各変数の予測に対する説明を表す https://arxiv.org/abs/1602.04938 "Why Should I Trust You?"
- 105. 推定ステップ • The general approach lime takes to achieving this goal is as follows: 1. For each prediction to explain, permute the observation n times. 2. Let the complex model predict the outcome of all permuted observations. 3. Calculate the distance from all permutations to the original observation. 4. Convert the distance to a similarity score. 5. Select m features best describing the complex model outcome from the permuted data. 6. Fit a simple model to the permuted data, explaining the complex model outcome with the m features from the permuted data weighted by its similarity to the original observation. 7. Extract the feature weights from the simple model and use these as explanations for the complex models local behavior.. https://cran.r-project.org/web/packages/lime/vignettes/Understanding_lime.html LIME
- 106. LIME：１．Predict an observation with complex model
- 107. LIME：２． Scatter instances with Permutated feature values
- 108. LIME：３．Scoring similarity distance from observation to permutations
- 109. LIME：４．Predict permutations with Complex model
- 110. LIME：５．Simple model for weighted permutations
- 115. Advantage • 表形式のデータ、テキスト、および画像のどれに対しても機能する。 • ヒトに優しい説明になりやすい • 得られる説明は短く（=選択的）違いが分かりやすい Disadvantage • あくまで近似 • ある特徴の貢献（attributions）を、完全に表すわけではない • チューニングに注意 • カーネルの選定と設定次第で推定が変わる • 説明モデルの複雑さはユーザーが事前に定義する必要がある • サンプリングデータ点は、特徴間の相関を無視して、ガウス分布からサンプリングされる（必ずしも 特徴空間での近傍と限らない） • ブラックボックスモデル（の決定境界）の複雑性に依存して説明が安定しない。サンプリングプロ セスを繰り返すと、説明が変わる可能性がある。 iml::LocalModel() ／LIME
- 116. Shapley value policy method name iml DALEX residuals and goodness of fit ✘ ✔ permutation importance ✔ ✔ global surrogate Tree surrogate ✘ Merging Path Plot (PDP for categorical data) ✘ ✔ Partial Dependence Plot (PDP for continuous data) ✔ ✔ Individual Conditional Expectation (ICE) ✔ Ceteris Paribus Plots Accumulated Local Effects (ALE) Plot ✔ ✔ Feature Interaction ✔ ✘ LIME ✔ ✘ SHAPLY value ✔ ✘ breakDown ✘ ✔ local interpretation (for single prediction) understand feature(s) understand entire model
- 117. • ある予測が得られる過程を協力ゲームと考える： • 予測値＝「報酬」 • 各変数＝ゲームの「プレーヤー」 • 各変数の貢献度を、特徴間で「報酬」を公平に配分する • 協力した ＝ 元の予測値 • 協力しない＝ 変数をシャッフルしたときの予測値 • 両者の差分をすべての組み合わせで評価する • 特徴量を取り除いて学習したモデルの予測値と元のモデルの予測値との差ではないことに注意。 https://papers.nips.cc/paper/7062-a-unified-approach-to-interpreting-model-predictions.pdf Shapley value
- 118. 1. Mは、観察Xについて、xiを含む変数の組み合わせ 2. 全ての組合せについて、Mの予測値とMからxiの情報をシャッフルした予測値 との差を計算して平均する 3. 全ての特徴iについて、１～２を繰り返す f(X) f^i(X) diff Φi x1 x2 x3 with xi without xi = f(X) - f^i(X) = mean(diff) 1 0 0 15 0 0 0 5 5 10 1 1 0 40 0 1 0 45 45 -5 1 0 1 65 0 0 1 50 50 15 1 1 1 35 0 1 1 40 40 -5 Φ1＝3.75 X Shapley value 推定ステップ
- 119. 推定ステップ 1. Mは、観察Xについて、xiを含む変数の組み合わせ 2. 全ての組合せについて、Mの予測値とMからxiの情報をシャッフルした予測値 との差を計算して平均する 3. 全ての特徴iについて、１～２を繰り返す f(X) f^i(X) diff Φi x1 x2 x3 with xi without xi = f(X) - f^i(X) = mean(diff) 0 1 0 45 0 0 0 5 5 40 1 1 0 40 1 0 0 15 15 25 0 1 1 40 0 0 1 50 50 -10 1 1 1 35 1 0 1 65 65 -30 Φ2＝6.25 X Shapley value
- 120. 推定ステップ 1. Mは、観察Xについて、xiを含む変数の組み合わせ 2. 全ての組合せについて、Mの予測値とMからxiの情報をシャッフルした予測値 との差を計算して平均する 3. 全ての特徴iについて、１～２を繰り返す f(X) f^i(X) diff Φi x1 x2 x3 with xi without xi = f(X) - f^i(X) = mean(diff) 0 0 1 50 0 0 0 5 5 10 1 0 1 65 1 0 0 15 15 50 0 1 1 40 0 1 0 45 45 -5 1 1 1 35 1 1 0 40 40 -5 Φ3＝12.5 X Shapley value
- 122. Iml::Shapley$new()
- 123. Iml::Shapley
- 124. Iml::Shapley https://christophm.github.io/interpretable-ml-book/shapley.html Štrumbelj, Erik, and Igor Kononenko. “Explaining prediction models and individual predictions with feature contributions.” Knowledge and information systems 41.3 (2014): 647-665. • すべての観察についてすべての特徴量の組み合わせを総当たりにすると、 計算コストが高いので、imlではモンテカルロサンプリングによる近似を採用
- 125. • すべての観察についてすべての特徴量の組み合わせを総当たりにすると、 計算コストが高いので、imlではモンテカルロサンプリングによる近似を採用 • そのため、サンプリングが小数だと推定結果が不安定に。 Iml::Shapley(…, sample.size =100)
- 126. • サンプルサイズを大きくすると推定結果は安定する。 • 計算時間は増える。 Iml::Shapley(…, sample.size = 100 *10)
- 127. Advantage • 完全な説明を提供する強固な理論保証がある • 単一のデータポイント（またはサブセット）に対する説明ができる • LIMEの場合、あくまでもモデル全体の振る舞いを局所的に近似することで「なぜ予測が得 られたのか」説明する Disadvantage • 計算コストが高い • 完全な説明を提供するためには2kの組み合わせを総当たりする必要がある • 現実的にはサンプリングによる近似となるが、計算時間と分散の大きさはトレードオフ。 • 説明がスパースにならない • 常にすべての特徴を使って説明を生成する • 訓練セットのデータを保持しておく必要がある。 • 新しい観察データのShapley値を計算する場合は、予測関数とデータが両方必要。 • 特徴ごとに単純な値を返す • 入力の変化に対する予測の変化は説明できない。 • 特徴が相関するときに非現実的な置換が起き、推定の中に入れてしまう。 Iml::Shapley()
- 128. breakDown policy method name iml DALEX residuals and goodness of fit ✘ ✔ permutation importance ✔ ✔ global surrogate Tree surrogate ✘ Merging Path Plot (PDP for categorical data) ✘ ✔ Partial Dependence Plot (PDP for continuous data) ✔ ✔ Individual Conditional Expectation (ICE) ✔ Ceteris Paribus Plots Accumulated Local Effects (ALE) Plot ✔ ✔ Feature Interaction ✔ ✘ LIME ✔ ✘ SHAPLY value ✔ ✘ breakDown ✘ ✔ local interpretation (for single prediction) understand feature(s) understand entire model
- 129. • ある観察 xについて、変数選択後の予測値と、もとの予測値 と の距離を１変数ずつ繰り返し評価する。 • 増減の順序がキモになるが、当然、組み合わせ爆発を起こす。 • breakDownパッケージでは、stepwise selectionを採用。 • Step-down: • いわゆる Backward elimination • full model → model with empty set • ロスを最小にするように変数を減らす • Step-up • いわゆる Forward selection • model with empty set → Full model • ゲインを最大にするように変数を増やす https://arxiv.org/abs/1804.01955 breakDown
- 130. • ある観察 xについて、変数選択後の予測値と、もとの予測値 と の距離を１変数ずつ繰り返し評価する。 • 増減の順序がキモになるが、当然、組み合わせ爆発を起こす。 • breakDownパッケージでは、stepwise selectionを採用。 • Step-down: • いわゆる Backward elimination • full model → model with empty set • ロスを最小にするように変数を減らす breakDown Step-upは、この逆をする (model with empty set → Full model) https://arxiv.org/abs/1804.01955
- 132. breakDown
- 133. breakdown (Conditional proportion plot) 各変数の値が決まるごとに 予測値の条件付き分布が収束
- 134. breakdown (Step-down & Step-up)
- 135. breakdown (Step-down & Step-up) 完全な加法モデルでは、予測結果の完全説明になる。 y = ∑(w・x) + Intercept breakDownパッケージではlm, glmに適用可能
- 136. Advantage • 元の予測値の再構成になっている Disadvantage • ステップワイズ法の性質を引き継ぐ • 変数の評価順番を決めるので、局所解にはまりやすい • 説明がスパースにならない • すべての特徴を使って説明を生成する • 特徴ごとに単純な値を返す • LIMEのように予測モデルを返すわけではないので、入力の変化に対する予測の変化 は説明できない。 breakdown
- 140. Interpretability book Christoph Molnar(2019) "Interpretable Machine Learning: A Guide for Making Black Box Models Explainable." • https://christophm.github.io/interpretable-ml-book/ Przemysław Biecek (2018) "DALEX: Descriptive mAchine Learning EXplanations" • https://pbiecek.github.io/DALEX_docs/ 参照リスト
- 141. 総説（和文） 原 聡 私のブックマーク「機械学習における解釈性（Interpretability in Machine Learning）」 • 人工知能33巻3号（2018年5月） • https://www.ai-gakkai.or.jp/my-bookmark_vol33-no3/ 原 聡「機械学習モデルの判断根拠の説明」 • 第20回ステアラボ人工知能セミナー (2018年12月21日) • https://www.youtube.com/watch?v=Fgza_C6KphU • https://www.slideshare.net/SatoshiHara3/ss-126157179 吉永 尊洸「機械学習と解釈可能性」 • ソフトウェアジャパン2019（2019年2月5日） • https://speakerdeck.com/line_developers/machine-learning-and- interpretability 参照リスト
- 142. R packages mlr: Machine Learning in R • https://cran.r-project.org/package=mlr iml: Interpretable Machine Learning • https://cran.r-project.org/package=iml DALEX: Descriptive mAchine Learning EXplanations • https://cran.r-project.org/package=DALEX breakDown: Model Agnostic Explainers for Individual Predictions • https://cran.r-project.org/package=breakDown 参照リスト
- 143. その他 mlr • Machine Learning in R • https://mlr-org.com/ • Machine Learning in R - Next Generation (mlr3) • https://mlr3.mlr-org.com/ ALE plot • Visualizing the Effects of Predictor Variables in Black Box Supervised Learning Models • Daniel Apley • the Joint Statistical Meetings 2017 • https://arxiv.org/abs/1612.08468 • https://ww2.amstat.org/meetings/jsm/2017/onlineprogram/AbstractDetails.cfm?abstr actid=324823 参照リスト
- 144. その他 H-statistic in RuleFit • Predictive learning via rule ensembles. • Friedman, Jerome H, and Bogdan E Popescu • The Annals of Applied Statistics. JSTOR, 916–54. (2008) • https://projecteuclid.org/euclid.aoas/1223908046 LIME • Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin (2016) "Why Should I Trust You?": Explaining the Predictions of Any Classifier • KDD ‘16 Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining Pages 1135-1144 • https://arxiv.org/abs/1602.04938 • lime: Local Interpretable Model-Agnostic Explanations • https://cran.r-project.org/web/packages/lime/vignettes/Understanding_lime.html 参照リスト
- 145. その他 Shapley value • A Unified Approach to Interpreting Model Predictions • Scott M. Lundberg and Su-In Lee • Advances in Neural Information Processing Systems 30 (NIPS 2017) • https://papers.nips.cc/paper/7062-a-unified-approach-to-interpreting-model- predictions • Explaining prediction models and individual predictions with feature contributions • Štrumbelj, Erik and Igor Kononenko • Knowledge and information systems 41.3 (2014): 647-665. • https://www.semanticscholar.org/paper/Explaining-prediction-models-and-individual- with-%C5%A0trumbelj-Kononenko/eb89cd70cbcfda0c350333b5a938d5da3b7b435f breakDown • Explanations of Model Predictions with live and breakDown Packages • Mateusz Staniak and Przemysław Biecek • The R Journal (2018) 10:2, pages 395-409. • https://journal.r-project.org/archive/2018/RJ-2018-072/index.html 参照リスト
- 146. その他 the alternate features search • S. Hara, T. Maehara, Finding Alternate Features in Lasso, arXiv:1611.05940, 2016. • https://github.com/sato9hara/LassoVariants • https://github.com/katokohaku/AlternateLassoR • XGBoostExplainer: An R package that makes xgboost models fully interpretable • https://github.com/AppliedDataSciencePartners/xgboostExplainer • https://medium.com/applied-data-science/new-r-package-the-xgboost-explainer- 51dd7d1aa211 • http://kato-kohaku-0.hatenablog.com/entry/2018/12/14/002253 参照リスト