EM算法和混合模型一：EM算法

作者: 引线小白-本文永久链接：httpss://www.limoncc.com/post/baeffd0a1d876b77/
知识共享许可协议: 本博客采用署名-非商业-禁止演绎4.0国际许可证

一、EM算法

1.1、问题表述

考虑独立同分布数据集 ${\displaystyle {\mathcal{D}}^{\mathit{x}}=\{{\mathit{x}}_i{\}}_{i=1}^N}$，我们加入隐含变量 ${\displaystyle \mathit{z}\in \mathcal{C}}$。这样我们有完整数据集(complete data)：${\displaystyle {\mathcal{D}}^{+}=\{{\mathit{x}}_i,{\mathit{z}}_i{\}}_{i=1}^N}$。 ${\displaystyle {\mathcal{D}}^{+}}$依然是独立同分布的，同时我们把 ${\displaystyle {\mathcal{D}}^{\mathit{x}}}$称为不完整数据集(incomplete data)。于是我们有：
$$\begin{array}{}\text{(1)}& \ell ({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })=\sum _{i=1}^N\ln p(\mathit{x}\mid \mathit{\theta })=\sum _{i=1}^N\ln [{\int }_{\mathcal{C}}p(\mathit{x},\mathit{z}\mid \mathit{\theta })\mathrm{d}\mathit{z}]\end{array}$$我们用数据集表示：
$$\begin{array}{}\text{(2)}& \ell ({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })=\ln p({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })=\ln [{\int }_{{\mathcal{C}}^N}p({\mathcal{D}}^{\mathit{x}},{\mathcal{D}}^{\mathit{z}}\mid \mathit{\theta })\mathrm{d}{\mathcal{D}}^{\mathit{z}}]\end{array}$$对于离散情况，我们把积分换成求和即可。

1.2、痛点问题：对数里求和的复杂性

对于不完全数据集，也就是我们观测到的数据集的对数似然函数 ${\displaystyle \ln p({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })}$。它的形式通常是复杂，尤其在想最大化参数时,对数里面居然有求和(积分)：${\displaystyle \ell ({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })=\sum _{i=1}^N\ln p(\mathit{x}\mid \mathit{\theta })=\sum _{i=1}^N\ln [\sum _{\mathit{z}\in \mathcal{C}}p(\mathit{x},\mathit{z}\mid \mathit{\theta })]}$这是很很头疼的问题。

1.3、完全数据集求解的简单性

隐变量加入后：求解 ${\displaystyle \ell ({\mathcal{D}}^{+}\mid \mathit{\theta })}$要比求解 ${\displaystyle \ell ({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })}$容易：
$$\begin{array}{}\text{(3)}& \ell ({\mathcal{D}}^{+}\mid \mathit{\theta })& =\ln [\prod _{i=1}^N(p(\mathit{z}\mid \mathit{\pi })p(\mathit{x}\mid \mathit{z},\mathit{\theta }))]=\ln [\prod _{i=1}^{N}p(\mathit{z}\mid \mathit{\pi })\times \prod _{i=1}^{N}p(\mathit{x}\mid \mathit{z},\mathit{\theta })]\text{(4)}& & =\ln [\prod _{i=1}^{N}p(\mathit{z}\mid \mathit{\pi })]+\ln [\prod _{i=1}^{N}p(\mathit{x}\mid \mathit{z},\mathit{\theta })]\text{(5)}& & =\sum _{i=1}^N\ln p(\mathit{z}\mid \mathit{\pi })+\sum _{i=1}^N\ln p(\mathit{x}\mid \mathit{z},\mathit{\theta })\end{array}$$对数里的求和自然消失，变成了我们熟悉的形式。

1.4、隐变量后验分布与数据点性质

混合模型中，我们会定义隐变量的后验分布：
$$\begin{array}{}\text{(6)}& p(\mathit{z}\mid \mathit{x},\mathit{\theta })=\frac{p(\mathit{x},\mathit{z}\mid \mathit{\theta })}{p(\mathit{x}\mid \mathit{\theta })}=\frac{p(\mathit{x},\mathit{z}\mid \mathit{\theta })}{{\displaystyle {\int }_{\mathcal{C}}p(\mathit{x},\mathit{z}\mid \mathit{\theta })\mathrm{d}\mathit{z}}}\end{array}$$我们变形一下来说明一个重要引理：

【数据点对数密度分解引理】
不完全数据点对数密度可以被分解。
$$\begin{array}{}\text{(7)}& \ln p({\mathit{x}}_i\mid \mathit{\theta })={\mathrm{E}}_{q_i}[\ln p({\mathit{x}}_i,{\mathit{z}}_i\mid \mathit{\theta })]+\mathrm{H}[q_i,p_i]\end{array}$$
它的分解是
1、隐变量后验分布下，完全数据点对数密度期望
2、隐变量后验似然函数分布的交叉熵
证明：
$$\begin{array}{}\text{(8)}& p({\mathit{x}}_i\mid \mathit{\theta })=\frac{p({\mathit{x}}_i,{\mathit{z}}_i\mid \mathit{\theta })}{p({\mathit{z}}_i\mid {\mathit{x}}_i,\mathit{\theta })}⟺\ln p({\mathit{x}}_i\mid \mathit{\theta })=\ln p({\mathit{x}}_i,{\mathit{z}}_i\mid \mathit{\theta })-\ln p({\mathit{z}}_i\mid {\mathit{x}}_i,\mathit{\theta })\end{array}$$
然后针对一个后验分布 ${\displaystyle q_i=p({\mathit{z}}_i\mid {\mathit{x}}_i,{\mathit{\theta }}^{old})}$求期望：
$$\begin{array}{}\text{(9)}& {\mathrm{E}}_{q_i}\{\ln p({\mathit{x}}_i\mid \mathit{\theta })\}={\mathrm{E}}_{q_i}\{\ln p({\mathit{x}}_i,{\mathit{z}}_i\mid \mathit{\theta })\}-{\mathrm{E}}_{q_i}\{\ln p({\mathit{z}}_i\mid {\mathit{x}}_i,\mathit{\theta })\}\end{array}$$
于是有：
$$\begin{array}{}\text{(10)}& \ln p({\mathit{x}}_i\mid \mathit{\theta })& ={\int }_{\mathcal{C}}[\ln p({\mathit{x}}_i,{\mathit{z}}_i\mid \mathit{\theta })\times q_i]\mathrm{d}{\mathit{z}}_i-{\int }_{\mathcal{C}}[\ln p({\mathit{z}}_i\mid {\mathit{x}}_i,\mathit{\theta })\times q_i]\mathrm{d}{\mathit{z}}_i\text{(11)}& & ={\mathrm{E}}_{q_i}[\ln p({\mathit{x}}_i,{\mathit{z}}_i\mid \mathit{\theta })]+\mathrm{H}[q_i,p_i]\end{array}$$证毕。
这一结论是EM算法中隐变量基本变换技巧，起着至关重要的作用。

1.5、隐变量的若干符号

为简洁记，我们定义一下符号，这些符号的定义有助于我们清晰理解EM算法是如何工作的。
${\displaystyle q_i=p({\mathit{z}}_i\mid {\mathit{x}}_i,{\mathit{\theta }}^{old})}$， ${\displaystyle p_i=p({\mathit{z}}_i\mid {\mathit{x}}_i,\mathit{\theta })}$
${\displaystyle q_i^t=q({\mathit{z}}_i\mid {\mathit{x}}_i,{\mathit{\theta }}_t)}$
${\displaystyle q=p({\mathcal{D}}^{\mathit{z}}\mid {\mathcal{D}}^{\mathit{x}},{\mathit{\theta }}^{old})}$， ${\displaystyle p=p({\mathcal{D}}^{\mathit{z}}\mid {\mathcal{D}}^{\mathit{x}},\mathit{\theta })}$
${\displaystyle q^t=p({\mathcal{D}}^{\mathit{z}}\mid {\mathcal{D}}^{\mathit{x}},{\mathit{\theta }}_t)}$
也就是说隐变量后验分布可以通过参数 ${\displaystyle {\mathit{\theta }}_t}$不断更新。事实上我们可以得到一个隐变量后验分布序列，并且收敛：
$$\begin{array}{}\text{(12)}& q_i^1\to q_i^2\to \cdots \to q_i^t\to q_i^{t+1}\to \cdots \to q_i^{end}\end{array}$$

1.6、不完全数据集对数似然函数等价变换

【不完全数据集对数似然函数等价变换引理】
不完全数据集对数似然函数可以被分解。
$$\begin{array}{}\text{(13)}& \ell ({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })={\mathrm{E}}_q[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]+\mathrm{H}[q,p]={\mathrm{E}}_q[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]+\mathrm{H}[q]+\mathrm{KL}[q\parallel p]\end{array}$$它的分解是
1、隐变量后验分布下，完全数据集对数似然函数的期望
2、隐变量后验似然函数分布的交叉熵

证明：我们参考【数据点对数密度分解引理】和隐变量符号有：
$$\begin{array}{}\text{(14)}& p({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })=\frac{p({\mathcal{D}}^{+}\mid \mathit{\theta })}{p({\mathcal{D}}^z\mid {\mathcal{D}}^{\mathit{x}},\mathit{\theta })}⟺\ln p({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })=\ln p({\mathcal{D}}^{+}\mid \mathit{\theta })-\ln p({\mathcal{D}}^z\mid {\mathcal{D}}^{\mathit{x}},\mathit{\theta })\end{array}$$

针对隐变量数据集的一个新后验分布 ${\displaystyle q=q({\mathcal{D}}^z\mid {\mathcal{D}}^{\mathit{x}},{\mathit{\theta }}^{old})}$求期望有：
$$\begin{array}{}\text{(15)}& {\mathrm{E}}_q[\ln p({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })]={\mathrm{E}}_{q({\mathcal{D}}^z\mid {\mathcal{D}}^{\mathit{x}},\mathit{\theta })}[\ln p({\mathcal{D}}^{+}\mid \mathit{\theta })]-{\mathrm{E}}_{q({\mathcal{D}}^z\mid {\mathcal{D}}^{\mathit{x}},\mathit{\theta })}[\ln p({\mathcal{D}}^z\mid {\mathcal{D}}^{\mathit{x}},\mathit{\theta })]\end{array}$$
于是有：
$$\begin{array}{}\text{(16)}& \ln p({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })& ={\mathrm{E}}_q[\ln p({\mathcal{D}}^{+}\mid \mathit{\theta })]-{\mathrm{E}}_q[\ln p({\mathcal{D}}^z\mid {\mathcal{D}}^{\mathit{x}},\mathit{\theta })]\text{(17)}& & ={\mathrm{E}}_q[\ln p({\mathcal{D}}^{+}\mid \mathit{\theta })]+\mathrm{H}[q,p]\text{(18)}& & ={\mathrm{E}}_q[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]+\mathrm{H}[q]+\mathrm{KL}[q\parallel p]\end{array}$$
注意，我们使用了乘法公式、熵的性质从而我们把数据点的规律，上升到数据集。这说明了独立同分布的可以分解性。

1.7、EM算法收敛定律

【EM算法收敛定律】
存在收敛参数，使得不完全数据集对数似然函数的最大化与完全数据集对数似然函数期望的最大化等价。
$$\begin{array}{}\text{(19)}& \mathrm{\exists }{\mathit{\theta }}_{end}\to max\ell ({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })⟺max{\mathrm{E}}_q[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]\end{array}$$

证明
1、下面我们引入一个辅助函数(auxiliary function): ${\displaystyle \mathcal{Q}(\mathit{\theta },q)\triangleq {\mathrm{E}}_q[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]+\mathrm{H}[q]}$有
$$\begin{array}{}\text{(20)}& \ell ({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })& =\mathcal{Q}(\mathit{\theta },q)+\mathrm{KL}[q\parallel p]\text{(21)}& & ⩾\mathcal{Q}(\mathit{\theta },q)={\mathrm{E}}_q[\ln p({\mathcal{D}}^{+}\mid \mathit{\theta })]+\mathrm{H}[q]\text{(22)}& & ⩾{\mathrm{E}}_q[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]\end{array}$$现在我们略微改变一下辅助函数(auxiliary function) ${\displaystyle \mathcal{Q}}$的观察视角 ：
$$\begin{array}{}\text{(23)}& \mathcal{Q}({\mathit{\theta },\mathit{\theta }}_t)={\mathrm{E}}_{q^t}[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]+\mathrm{H}[q^t]\end{array}$$

同时有 ${\displaystyle \ell ({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })⩾\mathcal{Q}({\mathit{\theta },\mathit{\theta }}_t)⩾{\mathrm{E}}_q[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]}$，也就是说 ${\displaystyle {\mathrm{E}}_q[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]}$是 ${\displaystyle \ell ({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })}$的下界。

2、下面我们将要构造出 ${\displaystyle {\mathit{\theta }}_{end}}$，同时证明最大化等价。
令 ${\displaystyle {\mathit{\theta }}_{t+1}=\underset{\mathit{\theta }}{\mathrm{argmax}}{\mathrm{E}}_{q^t}[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })}$ 则： ${\displaystyle {\mathrm{E}}_{q^t}[\ell ({\mathcal{D}}^{+}\mid {\mathit{\theta }}_{t+1})-{\mathrm{E}}_{q^t}[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]⩾0}$，同时${\displaystyle \ell ({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })⩾{\mathrm{E}}_q[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]}$于是有
$$\begin{array}{}\text{(24)}& & \ell ({\mathcal{D}}^{\mathit{x}}\mid {\mathit{\theta }}_{t+1})-\ell ({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })\text{(25)}& & ⩾\mathcal{Q}({{\mathit{\theta }}_{t+1},\mathit{\theta }}_t)-\mathcal{Q}({\mathit{\theta },\mathit{\theta }}_t)\text{(26)}& & ⩾{\mathrm{E}}_{q^t}[\ell ({\mathcal{D}}^{+}\mid {\mathit{\theta }}_{t+1})-{\mathrm{E}}_{q^t}[\ell ({\mathcal{D}}^{+}\mid {\mathit{\theta }}_t)]⩾0\end{array}$$
通过迭代 ${\displaystyle \mathit{\theta }}$， 使得 ${\displaystyle \ell ({\mathcal{D}}^{\mathit{x}}\mid {\mathit{\theta }}_{t+1})⩾\ell ({\mathcal{D}}^{\mathit{x}}\mid {\mathit{\theta }}_t)}$，${\displaystyle t}$步收敛后从而实现 ${\displaystyle \underset{{\mathit{\theta }}_{t+1}}{max}\ell (\mathcal{D}\mid {\mathit{\theta }}_{t+1})}$
这就证明了结论。

1.8、EM算法

我们总结前面的结论，写出EM算法。

---

算法：EM算法

---

1 ${\displaystyle {\mathit{\theta }}_0=\mathit{a}}$
2 ${\displaystyle p({\mathcal{D}}^{\mathit{z}}\mid \mathit{\pi })=\prod _{i=1}^{N}p(\mathit{z}\mid \mathit{\pi })}$
3 ${\displaystyle \text{while }{\mathrm{E}}_{q^t}[\ell ({\mathcal{D}}^{+}\mid {\mathit{\theta }}_{t+1})=\text{converged}}$ :
${\displaystyle \overline{)\begin{array}{l}\text{ E step}\\ \text{—————-}\\ q({\mathcal{D}}^{\mathit{z}}\mid {\mathcal{D}}^{\mathit{x}},{\mathit{\theta }}_t)=\frac{p({\mathcal{D}}^{\mathit{x}},{\mathcal{D}}^{\mathit{z}}\mid {\mathit{\theta }}_t)}{{\displaystyle {\int }_{{\mathcal{C}}^N}p({\mathcal{D}}^{\mathit{x}},{\mathcal{D}}^{\mathit{z}}\mid {\mathit{\theta }}_t)\mathrm{d}{\mathcal{D}}^{\mathit{z}}}}\\ p({\mathcal{D}}^{\mathit{x}},{\mathcal{D}}^{\mathit{z}}\mid \mathit{\theta })=p({\mathcal{D}}^{\mathit{x}}\mid {\mathcal{D}}^{\mathit{z}},\mathit{\theta })p({\mathcal{D}}^{\mathit{z}}\mid \mathit{\pi })=\prod _{i=1}^{N}p(\mathit{x}\mid \mathit{z},\mathit{\theta })\times \prod _{i=1}^{N}p(\mathit{z}\mid \mathit{\pi })\\ {\mathrm{E}}_{q^t}[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]=\int q({\mathcal{D}}^{\mathit{z}}\mid {\mathcal{D}}^{\mathit{x}},{\mathit{\theta }}_t)\ln p({\mathcal{D}}^{\mathit{x}},{\mathcal{D}}^{\mathit{z}}\mid \mathit{\theta })\mathrm{d}{\mathcal{D}}^{\mathit{z}}\\ \text{ M step}\\ \text{—————-}\\ {\mathit{\theta }}_{t+1}={\mathrm{argmax}}_{\mathit{\theta }}{\mathrm{E}}_{q^t}[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })\end{array}}}$
4 ${\displaystyle {\mathit{\theta }}_{end}}$

#end while

---

二、评述

1、EM算法的关键在于引入隐变量，然后我们考察它的先验、后验和完全数据集分布，于是我们得到： 不完全数据集对数似然函数等价变换：
$$\begin{array}{}\text{(27)}& \ell ({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })={\mathrm{E}}_q[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]+\mathrm{H}[q,p]={\mathrm{E}}_q[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]+\mathrm{H}[q]+\mathrm{KL}[q\parallel p]\end{array}$$正是因为如此，我们才有了【EM算法收敛定律】:
$$\begin{array}{}\text{(28)}& \mathrm{\exists }{\mathit{\theta }}_{end}\to max\ell ({\mathcal{D}}^{\mathit{x}}\mid \mathit{\theta })⟺max{\mathrm{E}}_q[\ell ({\mathcal{D}}^{+}\mid \mathit{\theta })]\end{array}$$

---

版权声明
	由引线小白创作并维护的柠檬CC博客采用署名-非商业-禁止演绎4.0国际许可证。 本文首发于柠檬CC [ https://www.limoncc.com ] , 版权所有、侵权必究。
本文永久链接	httpss://www.limoncc.com/post/baeffd0a1d876b77/

如果您需要引用本文，请参考：

引线小白. (Mar. 13, 2017). 《EM算法和混合模型一：EM算法》[Blog post]. Retrieved from https://www.limoncc.com/post/baeffd0a1d876b77

@online{limoncc-baeffd0a1d876b77, title={EM算法和混合模型一：EM算法}, author={引线小白}, year={2017}, month={Mar}, date={13}, url={\url{https://www.limoncc.com/post/baeffd0a1d876b77}}, }