『統計的因果推論：モデル・推論・推測』を読む（その２）

前回からの続きとなります。

著者のJudea Pearlはベイジアンネットワークの創始者であり、本書もベイジアンネットワークの説明が主となるようです。ただ全体的な記述がかなり数学的なのでなかなか頭に入ってきませんが。。。

第一章　確率、グラフ、因果モデル入門　「1.2　グラフと確率」

いくつか印象的な部分をメモしておきます。

統計的・確率的モデリングにおけるグラフの役割について：

統計的・確率的モデリングにおけるグラフの役割は次の3つからなる。

1. 実質的な仮定を表現する便利な方法を提供すること

2. 同時確率関数の簡潔な表現を円滑に行うこと

3. 観察データに基づいて効率的な推論を円滑に行うこと

以下では、項目2について議論を始めよう。
　n個の二値確率変数に対する同時分布 $P(x_1,...x_n)$ を規定する作業を考えよう。 $P(x_1,...x_n)$ を明確に表現するためには、とてつもなく大きな $2^n$ 個のセルからなる表が必要となる。しかし、各変数が小さな部分集合に従属する場合には、実質的で簡潔な表現を得ることができる。このような従属情報を用いることによって、大きな同時分布関数をいくつかの小さな周辺分布関数------それぞれは確率変数の部分集合に対応する分布関数------に分解することができ、それらをうまくつなぎ合わせることによって全体の性質を導くことができる。グラフを用いれば、与えられた知識状態において変数集合がどのように互いに関連しているのかを明示的に表現することができるため、グラフはこのような分解を行う際に重要な役割を果たす。

統計モデルにおけるグラフの役割の説明ですね。「大きくて複雑な問題」を「単純で局所的な問題」に分解して捉えることができるので便利、という感じでしょうか。

ベイジアン・ネットワークについて：

有向グラフ、特にDAGは因果的あるいは時間的な関係を表現するために使われており（引用文献略）、ベイジアン・ネットワークとして知られている。ベイジアン・ネットワークは、

(1)入力情報の主観性

(2)情報更新におけるベイズの定理への依存性

(3)1763年のThomas Bayesの論文で強調されているように、因果に基づく推論と証拠に基づく推論との相違性

という3つの側面を強調するために、Pearl (1985)が名付けたものである。矢線と無向辺の両方を含むハイブリッド・グラフも統計的モデリングを行うために提案されている（Wermuth and Lauritzen 1990）。しかし、本書では、フィードバック・サイクルを表現するために巡回的有向グラフを利用することもあるが、主に非巡回的有向グラフを扱う。

ベイジアン・ネットワークについてはそのそもそもの段階から「因果推論」がテーマとなっているようですね。この辺りの哲学的背景はニューラル・ネットワークとはかなり違いそうです。

次回に続きます：