混合ガウス分布によるデータのフィティング（補足）

このページでは、混合ガウス分布によるフィッティングアルゴリズムを再考してみる。

どちらにトラップされたかを確率変数で表す

微粒子が２つのポテンシャルのどちらにトラップされているかを表す変数として$z_i$を新たに導入し、 $i$番目の測定 $(x_i, y_i)$ が 1 にトラップされた状態のとき $z_{i,1}=1, z_{i,2}=0$、2にトラップされたとき $z_{i,1}=0, z_{i,2}=1$ と表現してみよう $z_i = (1,0)$ または $z_i = (0,1)$ がデータ点によって「切り替わる」ようなイメージである。

そうすると、$z_i$ は未知の量であるが、これが分かっていると考え、 完全なデータ $\{(x_i, y_i, z_i) \}$ が得られる確率が、$z_{i} = (1,0)$の条件の下では確率密度 $ p_1(x_i,y_i) $ で、$z_{i} = (0,1)$の条件の下では $ p_2(x_i,y_i) $ で分布すると仮定する。 このような状況では、データのうち 1に属するものの比率を $\alpha_1$、2のそれを $\alpha_2$ （$\alpha_1 + \alpha_2 = 1$）とすれば、 データ全体として、確率密度は $$ \alpha_1 p_1(x,y) + \alpha_2 p_2(x,y) $$ となるのは明らかである。

「完全」なデータ・セット $\{(x_i, y_i, z_i)\}$ に対する尤度は $$ p(\{(x_i, y_i, z_i)\}) = \prod_{i=1}^N \left\{ z_{i,1} \alpha_1 p_1(x_i,y_i) + z_{i,2} \alpha_2 p_2(x_i,y_i) \right\} $$ 対数尤度は、その対数を取って、$z_i$の定義に注意すると $$ L = \sum_{i=1}^N \log\left( z_{i,1} \alpha_1 p_1(x_i,y_i) + z_{i,2} \alpha_2 p_2(x_i,y_i) \right) $$ $$ = \sum_{i=1}^N z_{i,1} \log\left( \alpha_1 p_1(x_i,y_i) \right) + z_{i,2} \log\left( \alpha_2 p_2(x_i,y_i) \right) \tag{1} $$ のように表すことができる(対数関数の中で$z_{i,k}=0$となる箇所は「無視」して構わないことに注意）。

隠れた変数を期待値で代替する

ここで、$z_{i,k}$ は「知りえない」量であったのだから、このままでは上記の対数尤度$L$を最大しようにも、計算が立ち行かない。 そこで、$z_{i,k}$ の期待値でこれを代替することを考えてみる。 ベイズの公式から $$ p(z_{i,k}=1 | x_i, y_i ) = \frac{p(x_i,y_i | z_{i,k}=1) p(z_{i,k}=1)}{\sum_k p(x_i,y_i | z_{i,k}=1) p(z_{i,k}=1)} $$ であるが、ここで $$ p(z_{i,k}=1) = \alpha_k $$ および $$ p(x_i,y_i | z_{i,k}=1) = p_k(x_i, y_i) $$ であるから、$z_{i,k}$ の期待値は $$ \begin{eqnarray} E[z_{i,k}] & = & 1 \cdot p(z_{i,k}=1 | x_i, y_i ) + 0 \cdot p(z_{i,k}=0 | x_i, y_i ) \\ & = & \frac{\alpha_k p_k(x_i,y_i)}{\sum_k \alpha_k p_k(x_i,y_i)} \end{eqnarray} $$ となる。

これは、前ページで「重み」として導入した変数 $w_{i,k}$ に他ならない: $$ w_{i,k} = \frac{\alpha_k p_k(x_i,y_i)}{\sum_k \alpha_k p_k(x_i,y_i)} $$

対数尤度を最大化する

(1)式の対数尤度を、隠れた変数の期待値を使って「近似」することにすると $$ \bar{L} = \sum_{i=1}^N w_{i,1} \log\left( \alpha_1 p_1(x_i,y_i) \right) + w_{i,2} \log\left( \alpha_2 p_2(x_i,y_i) \right) $$ となる。これを最大化するには、各パラメータで$\bar{L}$を偏微分し、0と置けばよい。 その結果は、こちらのページに述べたとおりである。