狄利克雷-多项式模型(Dirichlet-Multionmial Model)

作者: 引线小白-本文永久链接：httpss://www.limoncc.com/post/5afe722cdba3caacf42894f5bfd847d4/
知识共享许可协议: 本博客采用署名-非商业-禁止演绎4.0国际许可证

简介: 本文总结了狄利克雷-多项式模型的部分和我自己的一些体会，我们将再一次熟悉贝叶斯方法的基本概念、流程、特点。把我们思维进化到更高的维度。
摘要：本文意在狄利克雷-多项式模型的问题。若有错误，请大家指正。
关键词: 狄利克雷-多项式模型,分类分布,狄利克雷分布

一、狄利克雷-多项式模型(dirichlet-multionmial model)

分类分布(Categorical distribution) 或者又叫1-C分布(multinoulli distribution)

$$\begin{array}{}\text{(1)}& \mathit{x}\sim \mathrm{Cat}(\mathit{x}\mid \mathit{\mu })\end{array}$$
其中 $$\begin{gathered} {\displaystyle \mathit{x}\in \{0,1{\}}^c,\sum _{j=1}^c{x}_j={\mathit{I}}^{\text{T}}\mathit{x}=1} \\ {\displaystyle {\mu }_j\in [0,1]\sum _{j=1}^c{\mu }_j={\mathit{I}}^{\text{T}}\mathit{\mu }=1} \end{gathered}$$

在这里有必要解释一下符号问题。首先分类分布是对0-1分布的推广，这句话可能不好理解。我们可以这样思考，0-1分布是抛硬币。而分类分布类似于掷骰子。为了让符号统一我们使用小写 ${\displaystyle c}$表示有C个分类，例如 ${\displaystyle c=6}$可以类比于掷骰子。这样很多问题就好理解了。
变量 ${\displaystyle \mathit{x}=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_j\\ ⋮\\ x_c\end{array}\right]}$ 实例或者一个观测 ${\displaystyle {\mathit{x}}_i=\left[\begin{array}{c}{x}_{i1}\\ ⋮\\ x_{ij}\\ ⋮\\ x_{ic}\end{array}\right]}$ 例子： ${\displaystyle {\mathit{x}}_s=\left[\begin{array}{c}0\\ ⋮\\ 1\\ ⋮\\ 0\end{array}\right]}$

1、分类分布(multinoulli distribution)概率质量函数：

$$\begin{array}{}\text{(2)}& \mathrm{PMF}\mathrm{：}\mathrm{Cat}(\mathit{x}\mid \mathit{\mu })=\prod _{i=1}^c{\mu }_i^{x_i}\end{array}$$

其中： ${\displaystyle \mathit{x}=[x_1,x_2,\dots ,x_c{]}^{\text{T}},\mathit{\mu }=[{\mu }_1,{\mu }_2,\dots ,{\mu }_c{]}^{\text{T}},\mathit{x}\in \{0,1{\}}^c,\sum _{j=1}^c{x}_j={\mathit{I}}^{\text{T}}\mathit{x}=1,\sum _{i=1}^c{\mu }_i={\mathit{I}}^{\text{T}}\mathit{\mu }=1}$这个表示方法也称为 ${\displaystyle 1ofc}$编码方法。这个方法方便计算。

其他表示方法：
${\displaystyle \mathrm{Cat}(x\mid \mathit{\mu })=\prod _{j=1}^c{\mu }_j^{\mathbb{I}(x=j)},x\in \{1,\dots ,c\}}$,
这个示性函数表示方法，有重要应用,降低表示维度，节约了有限的数学符号。

2、均值与方差

我们知道向量函数微分结果： ${\displaystyle \mathit{f}(\mathit{x})={\mathrm{e}}^{\mathit{A}\mathit{x}}}$ 有 ${\displaystyle \frac{\partial \mathit{f}}{\partial {\mathit{x}}^{\text{T}}}=\mathrm{diag}[{\mathrm{e}}^{\mathit{A}\mathit{x}}]\mathit{A}}$。且有： ${\displaystyle f(\mathit{x})={\mathit{\mu }}^{\text{T}}{\mathrm{e}}^{\mathit{A}\mathit{x}}}$，易得：
$$\begin{array}{}\text{(3)}& & \frac{\partial f}{\partial \mathit{x}}=\mathrm{diag}\left[{\mathrm{e}}^{\mathit{A}\mathit{x}}\right]\mathit{A}\mathit{\mu }\text{(4)}& & \frac{{\partial }^{2}f}{\partial {\mathit{x}}^2}={\mathit{A}}^{\text{T}}\mathrm{diag}[{\mathrm{e}}^{\mathit{A}\mathit{x}}]\mathrm{diag}[\mathit{\mu }]\mathit{A}\end{array}$$

我们又知道特征函数： ${\displaystyle {\phi }_{\mathit{x}}(\mathit{t})=\mathrm{E}[{\mathrm{e}}^{\mathrm{i}{\mathit{t}}^{\text{T}}\mathit{x}}]=\sum _{{\mathit{I}}^{\text{T}}\mathit{x}=1}{p}_j{\mathrm{e}}^{\mathrm{i}t{x}_j}=\sum _{j=1}^c{\mu }_i{\mathrm{e}}^{\mathrm{i}t{x}_j}={\mathit{\mu }}^{\text{T}}{\mathrm{e}}^{\mathrm{i}\mathit{X}\mathit{t}}}$。
于是可分析得到分类分布 ${\displaystyle \mathit{x}\sim \mathrm{Cat}(\mathit{x}\mid \mathit{\mu })}$的期望与方差(协方差矩阵)：

${\displaystyle \mathrm{E}[\mathit{x}]=(-\mathrm{i}{)}^1{\frac{\partial \phi (\mathit{t})}{\partial \mathit{t}}|}_{\mathit{t}=\mathbf{0}}=\mathrm{diag}\left[{\mathrm{e}}^{\mathrm{i}\mathit{X}\mathit{t}}\right]\mathit{X}\mathit{\mu }=\mathit{\mu }}$

${\displaystyle \mathrm{cov}[\mathit{x}]=(-\mathrm{i}{)}^2{\frac{{\partial }^2\phi (\mathit{t})}{\partial {\mathit{t}}^2}|}_{\mathit{t}=\mathbf{0}}-\mathrm{E}[\mathit{x}]{\mathrm{E}}^{\text{T}}[\mathit{x}]}$
$$\begin{gathered} {\displaystyle ={{\mathit{X}}^{\text{T}}\mathrm{diag}[{\mathrm{e}}^{\mathrm{i}\mathit{X}\mathit{t}}]\mathrm{diag}[\mathit{\mu }]\mathit{X}|}_{\mathit{t}=\mathbf{0}}-\mathit{\mu }{\mathit{\mu }}^{\text{T}}} \\ =\mathrm{diag}[\mathit{\mu }]-\mathit{\mu }{\mathit{\mu }}^{\text{T}} \end{gathered}$$

其中： ${\displaystyle \mathit{X}={\mathit{I}}_{c\times c}}$是 ${\displaystyle c\times c}$维的单位矩阵。也就说遍历了 ${\displaystyle \mathit{x}}$所有可能取值组成的矩阵。为了表示简洁，我们在其中选用了${\displaystyle c\times c}$维的单位矩阵。

3、似然函数(likelihood)

有数据集： ${\displaystyle \mathcal{D}=\{{\mathit{x}}_i{\}}_{i=1}^n}$于是有似然函数
$$\begin{array}{}\text{(5)}& \mathrm{L}(\mathit{\mu })=p(\mathcal{D}\mid \mathit{\mu })& =\prod _{i=1}^n\prod _{j=1}^c{\mu }_j^{x_j}=\prod _{j=1}^c{\mu }_j^{\sum _{i=1}^n{x}_{ij}}=\prod _{j=1}^c{\mu }_j^{k_j}\end{array}$$

其中： ${\displaystyle k_j=\sum _{i=1}^N{x}_{ij}}$表示第 ${\displaystyle j}$个分类在 ${\displaystyle n}$次观测中发生了 ${\displaystyle k_j}$次。同时我们知道 ${\displaystyle \sum _{j=1}^c{\mu }_j={\mathit{I}}^{\text{T}}\mathit{\mu }=1,\sum _{j=1}^c{k}_j={\mathit{I}}^{\text{T}}\mathit{k}=n}$

4、对数似然函数

$$\begin{array}{}\text{(6)}& \ell (\mathit{\mu },\lambda )& \propto \ln \prod _{j=1}^c{\mu }_j^{k_j}+\lambda (\sum _{j=1}^c{\mu }_j-1)\text{(7)}& & ={\mathit{k}}^{\text{T}}\ln \mathit{\mu }+\lambda [{\mathit{I}}^{\text{T}}\mathit{\mu }-1]\end{array}$$

5、求极大似然估计

$$\{\begin{array}{ll}{\displaystyle \frac{\partial \ell }{\partial \mathit{\mu }}}& =\frac{\mathit{k}}{\mathit{\mu }}+\lambda \mathit{I}=\mathbf{0}\\ \\ {\displaystyle \frac{\partial \ell }{\partial \lambda }}& ={\mathit{I}}^{\text{T}}\mathit{\mu }-1=0\end{array}$$
分析可得 ${\displaystyle {\mathit{\mu }}_{MLE}=-\frac{\mathit{k}}{\lambda }}$ 代入 ${\displaystyle {\mathit{I}}^{\text{T}}\mathit{\mu }-1=0}$得： ${\displaystyle \frac{{\mathit{I}}^{\text{T}}\mathit{k}}{\lambda }=-1}$由于 ${\displaystyle {\mathit{I}}^{\text{T}}\mathit{k}=n}$可得：
$$\begin{array}{}\text{(8)}& \lambda =-n\end{array}$$

$$\begin{array}{}\text{(9)}& {\mathit{\mu }}_{MLE}=\frac{\mathit{k}}{n}\end{array}$$

其中 ${\displaystyle {\mu }_j^{MLE}=\frac{k_j}{n},k_j=\sum _{i=1}^n{x}_{ij}}$。

6、多项式分布

我们定义 ${\displaystyle k_j=\sum _{i=1}^N{x}_{ij}}$是分类 ${\displaystyle j}$在 ${\displaystyle n}$次观测中发生的次数。同时令 ${\displaystyle \mathit{k}=[k_1,\dots ,k_j,\dots ,k_c{]}^{\text{T}}}$ 则有：
$$\begin{array}{}\text{(10)}& \mathrm{Mu}(\mathit{k}\mid \mathit{\mu },n)=\frac{n!}{k_1!k_2!\dots k_c!}\prod _{j=1}^c{\mu }_j^{k_j}\end{array}$$

其中 ${\displaystyle \sum _{j=1}^c{k}_j=n,\sum _{j=1}^c{\mu }_j=1}$

我们有特征函数：
${\displaystyle {\phi }_{\mathit{k}}(\mathit{t})=\mathrm{E}[{\mathrm{e}}^{\mathrm{i}{\mathit{t}}^{\text{T}}\mathit{k}}]=\sum _{{\mathit{I}}^{\text{T}}\mathit{k}=n}{p}_i{\mathrm{e}}^{\mathrm{i}t{k}_j}=\sum _{{\mathit{I}}^{\text{T}}\mathit{k}=n}\frac{n!}{k_1!k_2!\dots k_c!}\prod _{j=1}^c{\left({\mu }_j{\mathrm{e}}^{\mathrm{i}t}\right)}^{k_j}={\left({\mathit{\mu }}^{\text{T}}{\mathrm{e}}^{\mathrm{i}\mathit{t}}\right)}^n}$。
于是可得多项式分布的均值与协方差矩阵

${\displaystyle \mathrm{E}[\mathit{k}]=(-\mathrm{i}{)}^1{\frac{\partial \phi (\mathit{t})}{\partial \mathit{t}}|}_{\mathit{t}=\mathbf{0}}=-(\mathrm{i}{)}^{2}n{\left({\mathit{\mu }}^{\text{T}}{\mathrm{e}}^{\mathrm{i}\mathit{t}}\right)}^{n-1}\mathrm{diag}\left[{\mathrm{e}}^{\mathrm{i}\mathit{t}}\right]\mathit{\mu }=n\mathit{\mu }}$

${\displaystyle \mathrm{cov}[\mathit{k}]=(-\mathrm{i}{)}^2{\frac{{\partial }^2\phi (\mathit{t})}{\partial {\mathit{t}}^2}|}_{\mathit{t}=\mathbf{0}}-\mathrm{E}[\mathit{k}]{\mathrm{E}}^{\text{T}}[\mathit{k}]}$
$={n{\left({\mathit{\mu }}^{\text{T}}{\mathrm{e}}^{\mathrm{i}\mathit{t}}\right)}^{n-1}\mathrm{diag}\left[{\mathrm{e}}^{\mathrm{i}\mathit{t}}\right]\mathrm{diag}[\mathit{\mu }]|}_{\mathit{t}=\mathbf{0}}+{n(n-1){\left({\mathit{\mu }}^{\text{T}}{\mathrm{e}}^{\mathrm{i}\mathit{t}}\right)}^{n-2}\mathrm{diag}\left[{\mathrm{e}}^{\mathrm{i}\mathit{t}}\right]\mathit{\mu }{\left[\mathrm{diag}\left[{\mathrm{e}}^{\mathrm{i}\mathit{t}}\right]\mathit{\mu }\right]}^{\text{T}}|}_{\mathit{t}=\mathbf{0}}-n^2\mathit{\mu }{\mathit{\mu }}^{\text{T}}$
$$\begin{gathered} =n\mathrm{diag}[\mathit{\mu }]+n(n-1)\mathit{\mu }{\mathit{\mu }}^{\text{T}}-n^2\mathit{\mu }{\mathit{\mu }}^{\text{T}} \\ =n[\mathrm{diag}[\mathit{\mu }]-\mathit{\mu }{\mathit{\mu }}^{\text{T}}] \end{gathered}$$

7、共轭先验分布

把 ${\displaystyle \mathit{\mu }}$作为变量。观察似然函数，我们知道
$$\begin{array}{}\text{(11)}& p(\mathit{\mu })\propto p(\mathcal{D}\mid \mathit{\mu })=\prod _{j=1}^c{\mu }_j^{k_j}\end{array}$$

我们知道狄利克雷分布 ${\displaystyle \mathit{\mu }\sim \mathrm{Dir}(\mathit{\mu }\mid \mathit{a})=\frac{\mathrm{\Gamma }(a_0)}{\mathrm{\Gamma }(a_1)\mathrm{\Gamma }(a_2)\dots \mathrm{\Gamma }(a_c)}\prod _{j=1}^c{\mu }_j^{a_j-1}}$。而这正是我们需要的共轭先验，即后验与先验有相同的函数形式：
$$\begin{array}{}\text{(12)}& \mathrm{Dir}(\mathit{\mu }\mid \mathit{a})=\frac{1}{\mathrm{B}(\mathit{a})}\prod _{j=1}^c{\mu }_j^{a_j-1}\end{array}$$

其中： ${\displaystyle {\mu }_j\in [0,1]\sum _{j=1}^c{\mu }_j={\mathit{I}}^{\text{T}}\mathit{\mu }=1,a_0={\mathit{I}}^{\text{T}}\mathit{a}=a_1+\dots +a_c,a_j>0}$

利用 ${\displaystyle \mathrm{\Gamma },\mathrm{B}}$函数性质容易知道：
${\displaystyle \mathrm{E}(\mathit{\mu })=\frac{\mathit{a}}{{\mathit{I}}^{\text{T}}\mathit{a}}=\frac{\mathit{a}}{a_0}}$

${\displaystyle \mathrm{cov}(\mathit{\mu })=\frac{a_0\mathrm{diag}[\mathit{a}]-\mathit{a}{\mathit{a}}^{\text{T}}}{a_0^2(a_0+1)}}$

${\displaystyle \mathrm{mode}[\mathit{\mu }]=\underset{\mathit{\mu }}{\mathrm{argmax}}\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})=\frac{\mathit{a}-\mathbf{1}}{a_0-c}}$

为了方便使用，我们把它写成离散形式：
${\displaystyle \mathrm{E}({\mu }_j)=\frac{a_j}{a_0}}$

${\displaystyle \mathrm{var}({\mu }_j)=\frac{(a_0-a_j)a_j}{a_0^2(a_0+1)}}$

${\displaystyle \mathrm{cov}({\mu }_i,{\mu }_j)=\frac{-a_i{a}_j}{a_0^2(a_0+1)}}$

${\displaystyle \mathrm{mode}[{\mu }_j]=\underset{{\mu }_j}{\mathrm{argmax}}\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})=\frac{a_i-1}{a_0-c}}$

8、后验分布

我们用似然函数乘以狄利克雷先验得到后验分布：
$$\begin{array}{}\text{(13)}& p(\mathit{\mu }\mid \mathcal{D})\propto \mathrm{Mu}(\mathit{k}\mid \mathit{\mu },n)\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\end{array}$$ 归一化得：
$$\begin{array}{}\text{(14)}& p(\mathit{\mu }\mid \mathcal{D})=\mathrm{Dir}(\mathit{\mu }\mid \mathit{k}+\mathit{a})\end{array}$$

1、在线学习

我们发现狄利克雷分布也具有再生性质，和在线性学习性质，我们假设，陆续观测到两个的数据集 ${\displaystyle {\mathcal{D}}_1{\mathrm{D}}_2}$。
1、当我们观察到 ${\displaystyle {\mathcal{D}}_1}$时，有
$$p(\mathit{\mu }\mid {\mathcal{D}}_1)=\mathrm{Dir}(\mathit{\mu }\mid {\mathit{k}}_1+\mathit{a})$$
2、当我们观察到 ${\displaystyle {\mathcal{D}}_2}$时，有
$$p(\mathit{\mu }\mid {\mathcal{D}}_1,{\mathcal{D}}_2)\propto p({\mathcal{D}}_2\mid \mathit{\mu })p(\mathit{\mu }\mid {\mathcal{D}}_1)$$
易得：

$$\begin{array}{}\text{(15)}& p(\mathit{\mu }\mid {\mathcal{D}}_1,{\mathcal{D}}_2)=\mathrm{Dir}(\mathit{\mu }\mid {\mathit{k}}_2+{\mathit{k}}_1+\mathit{a})\end{array}$$

2、后验分析

最大后验估计
$$\begin{array}{}\text{(16)}& {\mathit{\mu }}_{MAP}=\mathrm{mode}[\mathit{\mu }]=\underset{\mathit{\mu }}{\mathrm{argmax}}\mathrm{Dir}(\mathit{\mu }\mid \mathit{k}+\mathit{a})=\frac{\mathit{k}+\mathit{a}-\mathbf{1}}{n+a_0-c}\end{array}$$

极大似然估计：
$$\begin{array}{}\text{(17)}& {\mathit{\mu }}_{MLE}=\frac{\mathit{k}}{n}\end{array}$$

后验均值:
$$\begin{array}{}\text{(18)}& \mathrm{E}(\mathit{\mu }\mid \mathcal{D})=\frac{\mathit{k}+\mathit{a}}{n+a_0}\end{array}$$

后验均值是先验均值和最大似然估计的凸组合。知道 ${\displaystyle \mathit{\mu }=\frac{\mathit{a}}{a_0}}$
$$\begin{array}{}\text{(19)}& \mathrm{E}(\mathit{\mu }\mid \mathcal{D})=\frac{\mathit{k}+\mathit{a}}{n+a_0}=\frac{a_0}{n+a_0}{\mathit{\mu }}_0+\frac{n}{n+a_0}{\mathit{\mu }}_{MLE}\end{array}$$
我们发现 ${\displaystyle a_0}$可以理解为先验对于后验的等价样本大小。 ${\displaystyle \frac{a_0}{n+a_0}}$是先验对于后验的等价样本大小比率。

同理可知最大后验估计是先验众数和最大似然估计的凸组合，而且更加倾向于最大似然估计，知道 ${\displaystyle \mathrm{mode}[{\mathit{\mu }}_0]=\frac{\mathit{a}-\mathbf{1}}{a_0-c}}$
$$\begin{array}{}\text{(20)}& {\mathit{\mu }}_{MAP}=\frac{\mathit{k}+\mathit{a}-\mathbf{1}}{n+a_0-c}=\frac{a_0-c}{n+a_0-c}\mathrm{mode}[{\mathit{\mu }}_0]+\frac{n}{n+a_0-c}{\mathit{\mu }}_{MLE}\end{array}$$

3、 拉格朗日乘数法

首先为了让符号有意义我们定义向量点除运算 ${\displaystyle \frac{1}{\mathit{a}}=1./\mathit{a}=[1/a_1,\dots ,1/a_n{]}^{\text{T}}}$下面我们用拉格朗日乘数法在推理一遍，我们知道 ${\displaystyle {\mathit{I}}^{\text{T}}\mathit{\mu }=1}$，于是有：
$$\begin{array}{}\text{(21)}& \ell (\mathit{\mu },\lambda )=\ln \prod _j^c{\mu }_j^{k_j+a_j-1}+\lambda ({\mathit{I}}^{\text{T}}\mathit{\mu }-1)=[\mathit{k}+\mathit{a}-\mathbf{1}{]}^{\text{T}}\ln \mathit{\mu }+\lambda ({\mathit{I}}^{\text{T}}\mathit{\mu }-1)\end{array}$$
求解得：
$$\{\begin{array}{l}{\displaystyle \frac{\partial \ell }{\partial \mathit{\mu }}=\frac{\mathit{k}+\mathit{a}-\mathbf{1}}{\mathit{\mu }}+\lambda \mathit{I}=\mathbf{0}}\\ {\displaystyle \frac{\partial \ell }{\partial \lambda }={\mathit{I}}^{\text{T}}\mathit{\mu }-1=0}\end{array}$$

知道： ${\displaystyle {\mathit{\mu }}_{MAP}=-\frac{\mathit{k}+\mathit{a}-\mathbf{1}}{\lambda }}$ 代入 ${\displaystyle {\mathit{I}}^{\text{T}}\mathit{\mu }=1}$得： ${\displaystyle \lambda =n+a_0-c}$
$${\mathit{\mu }}_{MAP}=\frac{\mathit{k}+\mathit{a}-\mathbf{1}}{n+a_0-c}$$

写成离散形式有
$$\begin{array}{}\text{(22)}& {\mu }_j^{MAP}=\frac{k_j+a_j-1}{n+a_0-c}\end{array}$$

4、后验协方差矩阵

$$\begin{array}{}\text{(23)}& \mathrm{cov}(\mathit{\mu })=\frac{(n+a_0)\mathrm{diag}[\mathit{k}+\mathit{a}]-[\mathit{k}+\mathit{a}][\mathit{k}+\mathit{a}{]}^{\text{T}}}{(n+a_0{)}^2(n+a_0+1)}\end{array}$$
当 N足够大时：

$$\mathrm{cov}(\mathit{\mu })\approx \frac{(n)\mathrm{diag}[\mathit{k}]-\mathit{k}{\mathit{k}}^{\text{T}}}{nnn}={\left[\frac{{\mu }_i^{MLE}(1-{\mu }_i^{MLE}{)}^{\mathbb{I}(i=j)}{{\mu }_j^{MLE}}^{\mathbb{I}(i\ne j)}}{n}\right]}_{c\times c}$$

它随着我们数据的增加以 ${\displaystyle \frac{1}{n}}$的速度下降

5、后验预测分布

开始分析之前，我们回忆一下B函数：
${\displaystyle \mathrm{B}(\mathit{a})={\int }_{\mathit{x}\in [0,1{]}^c}{x}_i^{a_i-1}\mathrm{d}\mathit{x},a_i>0and\sum _{i-1}^n{x}_i=1}$且有： ${\displaystyle \mathrm{B}(\mathit{a})=\frac{\prod _{i=1}^n\mathrm{\Gamma }(a_1)\cdots \mathrm{\Gamma }(a_n)}{\mathrm{\Gamma }(a_0)}}$。同时为了简化符号，我们令后验分布 ${\displaystyle p(\mathit{\mu }\mid \mathcal{D})=\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})}$
现在我们令下一次观测 ${\displaystyle {\mathit{x}}_{n+1}=\tilde{\mathit{x}}}$。我们现在想知道 ${\displaystyle \tilde{\mathit{x}}}$各种情况下概率，以辅助决策。考虑到 ${\displaystyle \tilde{\mathit{x}}\in \{0,1{\}}^c,\mathit{\mu }\in [0,1{]}^c=\mathcal{U}}$。我们有：
$$\begin{array}{}\text{(24)}& p(\tilde{\mathit{x}}\mid \mathcal{D})& ={\int }_{\mathcal{U}}p(\tilde{\mathit{x}}\mid \mathit{\mu })p(\mathit{\mu }\mid \mathcal{D})\mathrm{d}\mathit{\mu }\text{(25)}& & ={\int }_{\mathcal{U}}\mathrm{Cat}(\mathit{x}\mid \mathit{\mu })\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }\text{(26)}& & ={\int }_{\mathcal{U}}\prod _{j=1}^c{\mu }_j^{{\tilde{x}}_j}\frac{\mathrm{\Gamma }(a_0)}{{\displaystyle \prod _{j=1}^c\mathrm{\Gamma }(a_j)}}\prod _{j=1}^c{\mu }_j^{a_j-1}\mathrm{d}\mathit{\mu }=\frac{\mathrm{\Gamma }(a_0)}{{\displaystyle \prod _{j=1}^c\mathrm{\Gamma }(a_j)}}{\int }_{\mathcal{U}}\prod _{j=1}^c{\mu }_j^{a_j+{\tilde{x}}_j-1}\mathrm{d}\mathit{\mu }\text{(27)}& & =\frac{\mathrm{\Gamma }(a_0)}{{\displaystyle \prod _{j=1}^c\mathrm{\Gamma }(a_j)}}\frac{{\displaystyle \prod _{j=1}^c\mathrm{\Gamma }(a_j+{\tilde{x}}_j)}}{\mathrm{\Gamma }({\mathit{I}}^{\text{T}}[\mathit{a}+\mathit{x}])}=\frac{\mathrm{\Gamma }(a_0)}{{\displaystyle \prod _{j=1}^c\mathrm{\Gamma }(a_j)}}\frac{{\displaystyle \prod _{j=1}^c\mathrm{\Gamma }(a_j+{\tilde{x}}_j)}}{\mathrm{\Gamma }(a_0+1)}\text{(28)}& & =\frac{\mathrm{\Gamma }(a_0)}{{\displaystyle \prod _{j=1}^c\mathrm{\Gamma }(a_j)}}\frac{{\displaystyle \prod _{j=1}^c{a}_j^{{\tilde{x}}_j}\prod _{j=1}^c\mathrm{\Gamma }(a_j)}}{a_0^{{\tilde{x}}_j}\mathrm{\Gamma }(a_0)}=\prod _{j=1}^c{\frac{a_j}{a_0}}^{{\tilde{x}}_j}=\prod _{j=1}^c{\mathrm{E}}^{{\tilde{x}}_j}(\mathit{\mu }\mid \mathcal{D})\text{(29)}& & =\mathrm{Cat}(\tilde{\mathit{x}}\mid \mathrm{E}[\mathit{\mu }\mid \mathcal{D}])\end{array}$$

所以可以看到，后验预测分布等价于 ${\displaystyle plug-in\mathrm{E}[\mu \mid \mathcal{D}]}$。我们也可以分析出类似贝塔-伯努利模型的结论。

6、多试验后验预测

考虑这个问题，我们又观察到了 ${\displaystyle m}$个数据，那么分类 ${\displaystyle j}$发生 ${\displaystyle s_j}$次的概率。写成向量形式 ${\displaystyle \mathit{s}}$。于是有：
$$\begin{array}{}\text{(30)}& p(\mathit{s}\mid \mathcal{D},m)& ={\int }_{\mathcal{U}}\mathrm{Mu}(\mathit{s}\mid \mathit{\mu },m)\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }\text{(31)}& & ={\int }_{\mathcal{U}}\frac{m!}{s_1!\dots s_c!}\prod _{j=1}^c{\mu }_j^{s_j}\frac{1}{\mathrm{B}(\mathit{a})}\prod _{j=1}^c{\mu }_j^{a_j-1}\mathrm{d}\mathit{\mu }\text{(32)}& & =\frac{m!}{s_1!\dots s_c!}\frac{\mathrm{B}(\mathit{s}+\mathit{a})}{\mathrm{B}(\mathit{a})}\end{array}$$

我们称 ${\displaystyle \mathrm{Dm}(\mathit{s}\mid \mathcal{D},m)=\frac{m!}{s_1!\dots s_c!}\frac{\mathrm{B}(\mathit{s}+\mathit{a})}{\mathrm{B}(\mathit{a})}}$为狄利克雷-多项式分布(Dirichlet-multionmial distribution)。后验预测分布的均值与协方差矩阵问题

后验预测分布均值：
$$\begin{array}{}\text{(33)}& \mathrm{E}[s_j\mid \mathcal{D},m]& =\sum _{{\mathit{I}}^{\text{T}}\mathit{s}=1}{s}_j{\int }_{\mathcal{U}}\mathrm{Mu}(\mathit{s}\mid \mathit{\mu },m)\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }\text{(34)}& & ={\int }_{\mathcal{U}}\sum _{{\mathit{I}}^{\text{T}}\mathit{s}=1}{s}_j\mathrm{Mu}(\mathit{s}\mid \mathit{\mu },m)\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }\text{(35)}& & ={\int }_{\mathcal{U}}\mathrm{E}(s_j)\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }={\int }_{\mathcal{U}}m{\mu }_j\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }\text{(36)}& & =m\frac{\mathrm{\Gamma }(a_j+1)\mathrm{\Gamma }(a_0)}{\mathrm{\Gamma }(a_j)\mathrm{\Gamma }(a_0+1)}=m\frac{a_j}{a_0}\end{array}$$

${\displaystyle \mathrm{E}[\mathit{s}\mid \mathcal{D},m]=m\frac{\mathit{a}}{a_0}}$

后验预测分布方差：
$$\begin{array}{}\text{(37)}& \mathrm{var}[s_j\mid \mathcal{D},m]& =\sum _{{\mathit{I}}^{\text{T}}\mathit{s}=1}{s}_j^2{\int }_{\mathcal{U}}\mathrm{Mu}(\mathit{s}\mid \mathit{\mu },m)\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }-{\mathrm{E}}^2[s_j]\text{(38)}& & ={\int }_{\mathcal{U}}\sum _{{\mathit{I}}^{\text{T}}\mathit{s}=1}{s}_j^2\mathrm{Mu}(\mathit{s}\mid \mathit{\mu },m)\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }-{\mathrm{E}}^2[s_j]\text{(39)}& & ={\int }_{\mathcal{U}}\mathrm{E}(s_j^2)\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }-{\mathrm{E}}^2[s_j]\text{(40)}& & ={\int }_{\mathcal{U}}[m{\mu }_j+m(m-1){\mu }_j^2]\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }-{\mathrm{E}}^2[s_j]\text{(41)}& & =m\frac{a_j}{a_0}+m(m-1)\frac{\mathrm{\Gamma }(a_j+2)\mathrm{\Gamma }(a_0)}{\mathrm{\Gamma }(a_j)\mathrm{\Gamma }(a_0+2)}-m^2\frac{a_j^2}{a_0^2}\text{(42)}& & =m\frac{a_j}{a_0}+m(m-1)\frac{(a_j+1)a_j}{a_0(a_0+2)}-m^2\frac{a_j^2}{a_0^2}\text{(43)}& & =\frac{m{a}_j(a_0-a_j)}{a_0^2}\frac{a_0+m}{a_0+1}\end{array}$$

后验预测分布协方差：
$$\begin{array}{}\text{(44)}& \mathrm{cov}[s_i,s_j\mid \mathcal{D},m]& =\sum _{{\mathit{I}}^{\text{T}}\mathit{s}=1}{s}_i{s}_j{\int }_{\mathcal{U}}\mathrm{Mu}(\mathit{s}\mid \mathit{\mu },m)\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }-\mathrm{E}[s_i]\mathrm{E}[s_j]\text{(45)}& & ={\int }_{\mathcal{U}}\sum _{{\mathit{I}}^{\text{T}}\mathit{s}=1}{s}_i{s}_j\mathrm{Mu}(\mathit{s}\mid \mathit{\mu },m)\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }-\mathrm{E}[s_i]\mathrm{E}[s_j]\text{(46)}& & ={\int }_{\mathcal{U}}\mathrm{cov}(s_i,s_j)\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }-\mathrm{E}[s_i]\mathrm{E}[s_j]\text{(47)}& & ={\int }_{\mathcal{U}}[-m{\mu }_i{\mu }_j]\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }-\frac{m^2{a}_i{a}_j}{a_0^2}\text{(48)}& & =-m\frac{\mathrm{\Gamma }(a_i+1)\mathrm{\Gamma }(a_j+1)\mathrm{\Gamma }(a_0)}{\mathrm{\Gamma }(a_i)\mathrm{\Gamma }(a_j)\mathrm{\Gamma }(a_0+2)}-\frac{m^2{a}_i{a}_j}{a_0^2}\text{(49)}& & =-m\frac{a_i{a}_j}{(a_0+1)a_0}-\frac{m^2{a}_i{a}_j}{a_0^2}\text{(50)}& & =\frac{-m{a}_i{a}_j}{a_0^2}\frac{a_0+m}{a_0+1}\end{array}$$

后验预测分布协方差矩阵：
${\displaystyle \mathrm{cov}[\mathit{s}\mid \mathcal{D},m]=m(m+a_0)\frac{a_0\mathrm{diag}[\mathit{a}]-\mathit{a}{\mathit{a}}^{\text{T}}}{a_0^2(a_0+1)}}$

对于 $plug-in{\mathit{\mu }}_{MAP}$插值 ${\displaystyle \mathrm{Mu}(\mathit{s}\mid {\mathit{\mu }}_{MAP},m)}$，我们知道 ${\displaystyle {\mathit{\mu }}_{MAP}=\frac{\mathit{a}-\mathbf{1}}{a_0-c}}$其协方差矩阵为：
${\displaystyle \mathrm{cov}[\mathit{s}\mid {\mathit{\mu }}_{MAP},m]=m[\mathrm{diag}[{\mathit{\mu }}_{MAP}]-{\mathit{\mu }}_{MAP}{\mathit{\mu }}_{MAP}^{\text{T}}]}$

${\displaystyle \mathrm{var}[s_j\mid {\mathit{\mu }}_{MAP},m]=\frac{m(a_j-1)(a_0-a_j+1-c)}{(a_0-c{)}^2}}$

${\displaystyle \mathrm{cov}[s_i,s_j\mid {\mathit{\mu }}_{MAP},m]=\frac{-m(a_i-1)(a_j-1)}{(a_0-1{)}^2}}$
比较大小容易证明：
$$\begin{array}{}\text{(51)}& \mathrm{cov}[\mathit{s}\mid \mathcal{D},m]⩾\mathrm{cov}[\mathit{s}\mid {\mathit{\mu }}_{MAP},m]\end{array}$$
所以

贝叶斯预测的概率密度更宽、拥有长尾，从而避免了过拟合和黑天鹅悖论。

7、数据集后验预测与边缘似然函数

有数据集 ${\displaystyle {\mathcal{D}}_t,{\mathcal{D}}_{t+1}}$，这有
$$\begin{array}{}\text{(52)}& p({\mathcal{D}}_t\mid \mathit{a})& ={\int }_{\mathcal{U}}p({\mathcal{D}}_t\mid \mathit{\mu })p(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }\text{(53)}& & ={\int }_{\mathcal{U}}\prod _{j=1}^c{\mu }_j^{k_j^t}\frac{1}{\mathrm{B}(\mathit{a})}\prod _{j=1}^c{\mu }_j^{a_j-1}\mathrm{d}\mathit{\mu }\text{(54)}& & =\frac{\mathrm{B}({\mathit{k}}_t+\mathit{a})}{\mathrm{B}(\mathit{a})}\end{array}$$

$$\begin{array}{}\text{(55)}& p({\mathcal{D}}_{t+1}{\mathcal{D}}_t\mid \mathit{a})& ={\int }_{\mathcal{U}}p({\mathcal{D}}_{t+1}\mid \mathit{\mu })p(\mathit{\mu }\mid {\mathcal{D}}_t,\mathit{a})\mathrm{d}\mathit{\mu }\text{(56)}& & ={\int }_{\mathcal{U}}\prod _{j=1}^c{\mu }_j^{k_j^{t+1}}\frac{1}{\mathrm{B}({\mathit{k}}_t+\mathit{a})}\prod _{j=1}^c{\mu }_j^{k_j+a_j-1}\mathrm{d}\mathit{\mu }\text{(57)}& & =\frac{\mathrm{B}({\mathit{k}}_{t+1}+{\mathit{k}}_t+\mathit{a})}{\mathrm{B}({\mathit{k}}_t+\mathit{a})}\end{array}$$

所以有：
$$\begin{array}{}\text{(58)}& p({\mathcal{D}}_{t+1}\mid {\mathcal{D}}_t,\mathit{a})=\frac{p({\mathcal{D}}_{t+1}{\mathcal{D}}_t\mid \mathit{a})}{p({\mathcal{D}}_t\mid \mathit{a})}=\frac{\mathrm{B}({\mathit{k}}_{t+1}+{\mathit{k}}_t+\mathit{a})}{\mathrm{B}(\mathit{a})}\end{array}$$

9、评述

通过狄利克雷-多项式模型，我们从离散二维拓展到了离散多维。

1、上帝给 ${\displaystyle x}$选择了一个分布：${\displaystyle x\sim \mathrm{Cat}(x\mid \mathit{\mu })=\prod _{j=1}^c{\mu }_j^{\mathbb{I}(x=j)},x\in \{1,..,c\},\mathit{\mu }\in [0,1{]}^c}$ 这个分布由 ${\displaystyle \mathit{\mu }}$确定。

2、犹豫种种原因，人类也知晓了 ${\displaystyle x}$的分布类型，但是不知道 ${\displaystyle \mathit{\mu }}$。于是人类搞了个假设空间 ${\displaystyle \mathcal{H}=\{{\mathit{\mu }}_i\}}$，为了找到上帝的那个 ${\displaystyle \hat{\mathit{\mu }}}$，于是人类的征程开始了。

3、人类的智者，选择了用概率来解决这个难题。并且动用了自己的经验和感觉，人类假设 ${\displaystyle \mathit{\mu }\sim \mathrm{Dir}(\mathit{\mu }\mid \mathit{a})=\frac{1}{\mathrm{B}(\mathit{a})}\prod _{j=1}^c{\mu }_j^{a_j-1}}$。另外我们还可以结合，不断知晓的信息流 ${\displaystyle {\mathcal{D}}_t,{\mathcal{D}}_{t+1}\dots {\mathcal{D}}_{\mathrm{\infty }}}$，来给假设空间的每个 ${\displaystyle \mathit{\mu }}$更新概率。于是这个表达式横空出世 ${\displaystyle p(\mathit{\mu }\mid {\mathcal{D}}_{t+1},{\mathcal{D}}_t)\propto p({\mathcal{D}}_{t+1}\mid \mathit{\mu })p(\mathit{\mu }\mid {\mathcal{D}}_t)}$。于是我们得到了：

$$p(\mathit{\mu }\mid {\mathcal{D}}_t)=\mathrm{Dir}(\mathit{\mu }\mid {\mathit{k}}_t+\mathit{a})$$这样我们就把假设空间的 ${\displaystyle \mathit{\mu }}$都给了个概率。这样我们就有关于 ${\displaystyle \mathit{\mu }}$决策的信息。

4、上帝微微一笑， 人类继续开始征程：令 $\tilde{x}$为一随机变量，代表 n次观测后的值，于是得到：
$$p(\tilde{x}\mid \mathcal{D})={\int }_{\mathcal{U}}p(\tilde{x}\mid \mathit{\mu })p(\mathit{\mu }\mid \mathcal{D})\mathrm{d}\mathit{\mu }=\mathrm{Cat}(\tilde{x}\mid \mathrm{E}[\mathit{\mu }\mid \mathcal{D}])$$于是基于对假设空间再次赋概，我们对上帝有了新的认识

5、上帝开始感觉人类是个聪明的物种，甚为满意！ 我们又观察到了 m个数据，那么发生 $\tilde{\mathit{x}}$的次数是$\mathit{s}$次的概率
$$\begin{array}{}\text{(59)}& p(\mathit{s}\mid \mathcal{D},m)& ={\int }_{\mathcal{U}}\mathrm{Mu}(\mathit{s}\mid \mathit{\mu },m)\mathrm{Dir}(\mathit{\mu }\mid \mathit{a})\mathrm{d}\mathit{\mu }\text{(60)}& & =\frac{n!}{s_1!\dots s_c!}\frac{\mathrm{B}(\mathit{s}+\mathit{a})}{\mathrm{B}(\mathit{a})}\end{array}$$这样我们对 ${\displaystyle \mathit{s}}$的可能值也赋概了。这个式子称之为狄利克雷-多项式分布。我们对上帝又有了新的认识

6、至此，由于 ${\displaystyle p(\mathit{\mu }\mid {\mathcal{D}}_t,{\mathcal{D}}_{t+1})=\mathrm{Dir}(\mathit{\mu }\mid {\mathit{k}}_{t+1}+{\mathit{k}}_t+\mathit{a})}$。当 ${\displaystyle \underset{t\to \mathrm{\infty }}{lim}{\mathcal{D}}_t}$人类基本可以看到上帝裸体了。因为
$$\mathrm{cov}(\mathit{\mu })\approx \frac{(n)\mathrm{diag}[\mathit{k}]-\mathit{k}{\mathit{k}}^{\text{T}}}{nnn}={\left[\frac{{\mu }_i^{MLE}(1-{\mu }_i^{MLE}{)}^{\mathbb{I}(i=j)}{{\mu }_j^{MLE}}^{\mathbb{I}(i\ne j)}}{n}\right]}_{c\times c}$$

它随着我们数据的增加以 ${\displaystyle \frac{1}{n}}$的速度下降，我们发现人类的认识 ${\displaystyle \hat{\mathit{\mu }}}$会越来越逼近上帝的那个 ${\displaystyle \mathit{\mu }}$概率。也就是说
$$\begin{array}{}\text{(61)}& p(\hat{\mathit{\mu }}\to \mathit{\mu })\to 1\end{array}$$

---

版权声明
	由引线小白创作并维护的柠檬CC博客采用署名-非商业-禁止演绎4.0国际许可证。 本文首发于柠檬CC [ https://www.limoncc.com ] , 版权所有、侵权必究。
本文永久链接	httpss://www.limoncc.com/post/5afe722cdba3caacf42894f5bfd847d4/

如果您需要引用本文，请参考：

引线小白. (Mar. 8, 2017). 《狄利克雷-多项式模型(Dirichlet-Multionmial Model)》[Blog post]. Retrieved from https://www.limoncc.com/post/5afe722cdba3caacf42894f5bfd847d4

@online{limoncc-5afe722cdba3caacf42894f5bfd847d4, title={狄利克雷-多项式模型(Dirichlet-Multionmial Model)}, author={引线小白}, year={2017}, month={Mar}, date={8}, url={\url{https://www.limoncc.com/post/5afe722cdba3caacf42894f5bfd847d4}}, }