![グラフィカルモデルとは？
グラフィカルモデル
= 確率変数間の依存関係のグラフ表現
例：確率変数 の間に左のような依存関係が存在
・近年の機械学習やコンピュータビジョンでの定番モデル
（実際，2000年以降に出版されたおもだった機械学習やコンピュータ
ビジョンの教科書にはグラフィカルモデルの説明がある）
[Bishop,2006][Szeliski,2011][Prince,2012] etc.](https://image.slidesharecdn.com/graphicalmodel-140604101314-phpapp01/85/-2-320.jpg)
![なぜグラフ表現か？
１）確率モデルの構造を視覚化する簡単な方法を提供し，
新しいモデルの設計方針を決めるのに役に立つ．
２）グラフの構造を調べることにより，条件付き独立性
などのモデルの性質に関する知見が得られる．
３）精巧なモデルにおいて推論や学習を実行するために
は複雑な計算が必要となるが，これを数学的な表現を暗
に伴うグラフ上の操作として表現することができる．
[Bishop,2006 第8章（邦訳：パターン認識と機械学習 （下），丸善，2012 ）]](https://image.slidesharecdn.com/graphicalmodel-140604101314-phpapp01/85/-3-320.jpg)
![[DL輪読会]相互情報量最大化による表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/20190913iwasawa-190913002312-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Understanding Black-box Predictions via Influence Functions](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacksinffunc-170822055634-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Flow-based Deep Generative Models](https://cdn.slidesharecdn.com/ss_thumbnails/20190307-190328024744-thumbnail.jpg?width=560&fit=bounds)
Ad
More Related Content
What's hot (20)
Viewers also liked (9)
Ad
グラフィカルモデル入門
- 5. どんなグラフィカルモデルがあるか？ マルコフ確率場 （Markov Random Field） ベイジアンネットワーク （Bayesian Network） ＊これらの下位モデルとして，有向木や無向木がある．また，無向リンクと 有向リンクの両方からなる連鎖グラフ（chain graph）というものもある． 無向グラフィカルグラフ 有向グラフィカルグラフ UGM: Undirected Graphical Model DGM: Directed Graphical Model
- 6. どんな応用があるか？ モデル 応用例 補足 マルコフ確率場 画像復元・修復， 領域分割，画像合成， ステレオ照合, etc. 画素ベースの手法が多い．画素間 の因果関係を決めることが難しい ため，矢印を引きにくい． ベイジアン ネットワーク 物体追跡， ジェスチャ認識, etc. 系列データに対する手法が多い． 時間という明確な因果関係が存在 するため，矢印が引きやすい．
- 12. MAP推定値と周辺分布を求める 最大事後確率推定問題（Maximum A Posterior） 周辺分布推定問題（marginal distribution） ＊応用では分布でなく一つの代表値が欲しいことが多い ＊例えば物体追跡では過去すべての位置が欲しいわけでなく， 現時刻の位置の分布が分かればよいことが多い find find
- 13. ベイズの定理でひっくり返す ベイズの定理に基づく推論 潜在変数と観測値をひっくり返す - ひっくり返した分布 は，観測が生成されるプロ セスを表現しており，与えられている（ことが多い）． - 求めたい事後分布 は一般には与えられていない． 事前分布 の登場 - 潜在変数に関する事前知識（滑らかなど）を表現． - このモデル化にグラフィカルモデル（マルコフ性）が活躍．
- 16. 確率分布の計算は大変 はそれぞれ 個の状態を取りうる離散確率変数とする． この確率分布 を求めるには何回計算が必要か？ 例題 Ａ． 回必要である． 一般に 変数に対して の計算量． ・・・
- 17. 計算の効率化～独立と条件付き独立～ 独立： 条件付き独立： 例題 A. 回 A. 回 ただし は与えられているとする はそれぞれ 個の状態を取りうる離散確率変数とする． この確率分布 を求めるには何回計算が必要か？ ただし確率変数間に次のような依存関係があるとする． ばらばらにできる
- 18. 計算の効率化～独立と条件付き独立～ ・確率変数間に独立あるいは条件付き独立が成立すると 因数分解できて組み合わせの数が減り計算量が減少． ・２つのモデルは一般に次のように因数分解され，各項に 含まれる変数（青線部）は独立性と条件付き独立性に依存． 有向グラフィカルモデル： 無向グラフィカルモデル： ここで， は の親ノード集合． ここで， は確率変数の集合 の 部分集合， は正のポテンシャル関数．
- 23. ポテンシャル関数とは？ ポテンシャル関数は確率分布の別名か？（先ほどは次のように置いた） 条件付き確率分布 同時確率分布 必ずしも確率分布でなくてよい．例えば， 画像復元・修復など多くの応用で利用される． 正則化理論の罰金項に相当する．物理学との アナロジーから をエネルギーともいう 総和が１という制約を気にせずに自由に気楽にモデリングできる ・応用に対して事前にもっている知識（値が近いと嬉しいなど）を反映． ・最終的に全体で総和が１になるように正規化項 が必要． ・数学的な要請からポテンシャル関数は正 とする（Hammersley-Clifford定理）
- 24. 無向グラフィカルモデルを描く 描き方：各項の変数集合 の要素を相互につなぐ 例： …(a) …(b) …(c) (a) (b) 一般形： (c) （互いに独立） （互いに直接的に関連） （条件付き独立） ＊ は極大クリーク（青点線）をつくる
- 25. 条件付き独立こそがモデリングの鍵 低 高 モデル表現力 計算効率 高 低 バランスをとって このあたりに落ち着く 互いに直接的に関連 条件付き独立 互いに独立 過学習を起こしやすい 同時に考える意味なし モデルに対する推論の計算効率と表現力のバランスをとると， 条件付き独立という関係が重要である． 組み合わせ爆発 ばらばらに計算ほどほどつながっている
- 26. 条件付き独立をグラフから読み取る tail-to-tail head-to-tail head-to-head ＊条件付き独立 は とも表記する（ を省略した表記）． は空集合 を与えたときに条件付き独立，すなわち独立を意味する． 上２つに対して 条件付き独立か どうかの関係が 反転する． 変数 を与えると依存関係はどう変化するか？ （なお条件付き独立は３変数以上あって初めて定義できることに注意） ベイジアンネットワーク
- 38. 無向グラフのより詳細な表現～因子グラフ～ ある無向グラフに対する因子グラフ一意ではない．どの因子 グラフにするかはモデル設計者しだいである． これは元と同じ ペアワイズに決まる さらに単項を入れた表現
- 44. 行列演算による表現 ベクトル と の成分ごとの積 （ベクトル の 番目の成分は に関する周辺ポテンシャル） 乗算と加算の順序をうまく交換することで 正規化項は で計算 1段階目 2段階目 3段階目 方向が逆のため転置をとる
- 53. 連続確率変数に対する推論 ～積積分アルゴリズム～ が正規分布 カルマンフィルタ が一般の分布 粒子フィルタ ＊積分が解析的に計算可能 ＊メッセージは平均ベクトルと共分散行列 ＊積分が解析的に計算不可能．モンテカルロ積分による近似 ＊メッセージは粒子群 の計算
- 64. ソフトウェア OpenGM: http://hci.iwr.uni-heidelberg.de/opengm2/ さまざまな離散最適化アルゴリズムが実装されている． 例えばメッセージパッシングでは ・Dynamic Programming on acyclic graphs ・Loopy Belief Propagation (LBP) ・Sequential Belief Propagation (BPS) ・Tree-reweighted Belief Propagation (TRBP) MRF Minimization: http://vision.middlebury.edu/MRF/code/ OpenGMに収録されているが，単独でも公開されている．自分でちょっと 試してみたいときは，こちらのほうが敷居が低いと思います． ・Iterated Conditional Modes ・Graph Cuts ・Max-Product Belief Propagation ・Sequential tree-reweighted message passing
- 65. まとめ
- 67. 参考文献 機械学習・パターン認識・コンピュータビジョン全般 ＊すべて，あるいは一部の原稿が著者webページからダウンロード可のものをリストアップ ・C.M.Bishop,Pattern Recognition and Machine Learning, Springer, 2006 邦訳：パターン認識と機械学習 （上・下），丸善，2012 ・D.Barber, Bayesian reasoning and machine learning, Cambridge University Press, 2012 ・R.Szeliski, Computer Vision: Algorithms and Applications, Springer, 2011 邦訳：コンピュータビジョン ―アルゴリズムと応用―，共立出版，2013 ・S.J.D.Prince, Computer Vision: models, learning and inferance, Cambridge University Press, 2012 ビデオレクチャ ＊最近では，YouTube等で「graphical model」と検索すれば多くの（そして有名人の）ビデオレクチャが 見られます．例えば，MOOCsの代表格であるCourseraでは「Probabilistic Graphical Models」がDaphne Koller教授より提供されている（この人は有名なテキスト「Probabilistic Graphical Models，MIT Press, 2009」の 著者でもあり，Courseraの設立者でもあります）． 日本語では，玉木先生（広島大）によるレク チャがUdamyで公開されてます． ソフトウェア マルコフ確率場：新しいアルゴリズムが実装されているという意味ではOpenGMがよいかも． ベイジアンネットワーク：HMMの実装はあちらこちらにある． また，グラフを自動的に描きたいときは，Graphvizというソフトウェアがある．