作者: 引线小白-本文永久链接：httpss://www.limoncc.com/post/fcad1ed76dc00166a235da24da7c2799/
知识共享许可协议: 本博客采用署名-非商业-禁止演绎4.0国际许可证
一、 $\displaystyle \Gamma$分布
1、定义
$$\begin{align}
x\sim \mathrm{Ga}(x\mid n,v)=\frac{v^n}{\Gamma(n)}x^{n-1}\mathrm{e}^{-vx}\,,x>0
\end{align}$$
我们有时候也这样书写： $\displaystyle x\sim \mathrm{Ga}(x\mid n,v)=\frac{v^n}{\Gamma(n)}x^{n-1}\exp(-vx)$。我们称之为等待时机分布，其中 $\displaystyle v$是速度参数。 $\displaystyle n$是次数参数。随机变量的含义是：事件 $\displaystyle A$出现后，再次出现 $\displaystyle n$次需要的时间。
2、$\displaystyle \Gamma$分布的特征函数
$$\begin{align}
\displaystyle \varphi(t)
=\mathrm{E}[\mathrm{e}^{\mathrm{i}t x}]
=\left(\frac{v}{v- \mathrm{i}t}\right)^n
\end{align}$$
我们来求 $\displaystyle \Gamma$分布的特征函数：
$$\begin{align}
\displaystyle \varphi(t)
&=\mathrm{E}[\mathrm{e}^{\mathrm{i}t x}]
=\int_0^{\infty}\mathrm{e}^{\mathrm{i}t x}\times\mathrm{Ga}(x\mid n,v)\mathrm{d}x\\
&=\int_0^{\infty}\mathrm{e}^{\mathrm{i}t x}\frac{v^n}{\Gamma(n)}x^{n-1}\mathrm{e}^{-vx}\mathrm{d}x\\
&=\int_0^{\infty}\frac{v^n}{\Gamma(n)}x^{n-1}\mathrm{e}^{-(vx-\mathrm{i}t x)}\mathrm{d}x\,,y=vx-\mathrm{i}t x\\
&=\frac{v^n}{\Gamma(n)}\int_A \left(v- \mathrm{i}t\right)^{-n}y^{n-1}\mathrm{e}^{-y}\mathrm{d}y\\
&=\frac{v^n}{\Gamma(n)}\frac{\Gamma(n)}{\left(v- \mathrm{i}t\right)^n}\\
&=\left(\frac{v}{v- \mathrm{i}t}\right)^n
\end{align}$$
3、$\displaystyle \Gamma$分布的数字特征
期望 $\displaystyle \displaystyle
\mathrm{E}[x]
=(-\mathrm{i})^1\left.\frac{\partial{\varphi(t)}}{\partial{t}}\right| _{t=0}
=\left(-\mathrm{i}\right)^2n \frac{v^{n+1}}{\left(v- \mathrm{i}t\right)^{n+2}}\bigg|_{t=0}
=\frac{n}{v}
$
方差 $\displaystyle \displaystyle \mathrm{var}[x]
=(-\mathrm{i})^2\left.\frac{\partial^2{\varphi(t)}}{\partial{t}^2}\right| _{t=0}-\mathrm{E}^2[x]
=\frac{n}{v^2}$
众数
$\displaystyle \displaystyle \mathrm{mode}[x]=\mathop{\mathrm{argmax}}_{x}\,\mathrm{Ga}(x\mid n,v)=\frac{n-1}{v}$
其中：$\displaystyle \frac{\partial }{\partial x}\mathrm{Ga}(x\mid n,v)
=-C\mathrm{e}^{-vx} \left( x^{n-1}v-x^{n-2}n+x^{n-2} \right)=0\to\mathrm{mode}[x] $
4、$\displaystyle \Gamma$分布的可加性
【定理】
若随机变量 $\displaystyle x_1,x_2,…,x_n$相互独立，并且都服从$\displaystyle \Gamma$分布 $\displaystyle x_i\sim \mathrm{Ga}(x_i\mid m_i,v)$。那么
$$\begin{align}
\zeta=x_1+x_2+\cdots+x_n\sim\mathrm{Ga}(\zeta\mid m_1+m_2+\cdots+m_n,v)
\end{align}$$
证明：
我们有 $\displaystyle \Gamma$分布的特征函数： $\displaystyle \varphi(t)
=\left(\frac{v}{v- \mathrm{i}t}\right)^n$。考虑上述相互独立的随机变量。由独立随机变量之和的特征函数是独立变量特征函数之积。知道：
$$\begin{align}
\varphi_{ x_1+x_2+\cdots+x_n}(t)=\prod_{i=1}^{n}\varphi_{x_i}(t)=\left(\frac{v}{v- \mathrm{i}t}\right)^{m_1+m_2+\cdots+m_n}
\end{align}$$
于是证明了结论。
二、$\displaystyle \chi^2(x\mid n)$分布
1、定义
$\displaystyle \chi^2(x\mid n)$分布
$$\begin{align}
x\sim\chi^2(x\mid n)=\frac{2^{-\frac{n}{2}}}{\Gamma \left(\frac{n}{2}\right)}x^{n/2-1}\mathrm{e}^{-x/2}\,,x>0
\end{align}$$
可以看出： $\displaystyle x\sim\chi^2(x\mid n)=\mathrm{Ga}(x\mid \frac{n}{2},\frac{1}{2}) $。
【定理】
若随机变量 $\displaystyle x_1,x_2,…,x_n$是相互独立的标准高斯分布，那么随机变量：
$$\begin{align}
\xi=\chi^2=x_1^2+x_2^2+\cdots+x_n^2\sim\chi^2(\xi\mid n)
\end{align}$$
证明：
【引理】: 若 $\displaystyle x\sim \mathcal{N}(0,1)$,则 $\displaystyle x^2\sim\chi^2(x\mid 1)$有$\displaystyle y=x^2$的反函数：
$$
x=h(y)=\begin{cases} -\sqrt{y} \,,y<0 \\\
\sqrt{y}\,,0\leqslant y<+\infty \end{cases}
$$
容易知道导数的绝对值 $\displaystyle \left|h’(y)\right|=\frac{1}{2\sqrt{y}}$。由变量代换定理有：
$$\begin{align}
p(y)=\frac{1}{\sqrt{2\pi}}y^{-\frac{1}{2}}\mathrm{e}^{-\frac{y}{2}}=\frac{2^{-\frac{1}{2}}}{\Gamma \left(\frac{1}{2}\right)}y^{\frac{1}{2}-1}\mathrm{e}^{-y/2}
\end{align}$$
也就是说：
$$\begin{align}
p(y)=\chi^2(x\mid 1)=\mathrm{Ga}(x\mid \frac{1}{2},\frac{1}{2})
\end{align}$$
然后应用 $\displaystyle \Gamma$分布的可加性容易证明定理。
2、$\displaystyle \chi^2(x\mid n)$分布的特征函数和数字特征
特征函数
$$\begin{align}
\displaystyle \varphi(t)
=\mathrm{E}[\mathrm{e}^{\mathrm{i}t x}]
=\left(1-2 \mathrm{i}t\right)^{-n/2}
\end{align}$$
期望 $\displaystyle \displaystyle
\mathrm{E}[x]
=(-\mathrm{i})^1\left.\frac{\partial{\varphi(t)}}{\partial{t}}\right| _{t=0}
=-\left(\mathrm{i}\right)^2\left( 1-2\,it \right) ^{-n/2-1}n\bigg|_{t=0}
=n
$
方差 $\displaystyle \displaystyle \mathrm{var}[x]
=(-\mathrm{i})^2\left.\frac{\partial^2{\varphi(t)}}{\partial{t}^2}\right| _{t=0}-\mathrm{E}^2[x]=-(\mathrm{i})^2 \left( 1-2\,it \right) ^{-n/2-2} \left( n+2 \right) n-n^2
=2n$
众数 $\displaystyle \displaystyle \mathrm{mode}[x]=\mathop{\mathrm{argmax}}_{x}\,\mathrm{\chi}^2(x\mid n)=n-2$
其中：$\displaystyle \frac{\partial }{\partial x}\chi^2(x\mid n)
=1/2C\,\mathrm{e}^{-x/2}\left( x^{n/2-2}n-2\,x^{n/2-2}-x^{n/2-1}
\right) =0\to\mathrm{mode}[x] $
3、$\displaystyle \chi^2(x\mid n)$分布的可加性质
【定理】
若随机变量 $\displaystyle x_1,x_2,…,x_n$相互独立，并且都服从 $\displaystyle \chi^2$分布 $\displaystyle x_i\sim \chi^2(x_i\mid m_i)$。那么
$$\begin{align}
x_1+x_2+\cdots+x_n\sim\chi^2(x\mid m_1+m_2+\cdots+m_n)
\end{align}$$
证明：
我们有 $\displaystyle \chi^2$分布的特征函数： $\displaystyle \varphi(t)
=\left(1-2 \mathrm{i}t\right)^{-n/2}$。考虑上述相互独立的随机变量。由独立随机变量之和的特征函数是独立变量特殊函数之积。知道：
$$\begin{align}
\varphi_{ x_1+x_2+\cdots+x_n}(t)=\prod_{i=1}^{n}\varphi_{x_i}(t)=
\left(1-2 \mathrm{i}t\right)^{-\left(m_1+m_2+\cdots+m_n\right)/2}
\end{align}$$
于是证明了结论。
三、 $\displaystyle t(x\mid n)$分布
1、定义
$$\begin{align}
x\sim t(x\mid n)=\left(n\pi\right)^{-1/2}\frac{\Gamma \left(\frac{n+1}{2}\right)}{\Gamma \left(\frac{n}{2}\right)}\left(1+x^2/n\right)^{-(n+1)/2}
\end{align}$$
【定理】
若 $\displaystyle x\sim\mathcal{N}(0,1),y\sim\chi^2(n)$,且 $\displaystyle x$和 $\displaystyle y$相互独立,那么：
$$\begin{align}
\tau=\dfrac{x}{\sqrt{y/n}}\sim t(\tau\mid n)
\end{align}$$
证明：
知：
$$\begin{align}
p(x)=\frac{1}{\sqrt{2\pi}}\mathrm{e}^{-\frac{x^2}{2}}\,,-\infty<x<+\infty
\end{align}$$
又知：
$$\begin{align}
p(y)=\frac{2^{-\frac{n}{2}}}{\Gamma \left(\frac{n}{2}\right)}x^{n/2-1}\mathrm{e}^{-x/2}\,,x>0
\end{align}$$
于是由变量代换定理有 $\displaystyle z=\sqrt{y/n}$的密度：
$$\begin{align}
p(z)&=p(nz^2)\times\left|2nz\right|
=\frac{2nz}{2^{n/2}\Gamma \left(\frac{n}{2}\right)}\left(nz^2\right)^{n/2-1}\mathrm{e}^{-(nz^2)/2}\\
&=\frac{\sqrt{2n}}{\Gamma \left(\frac{n}{2}\right)}\left(nz^2/2\right)^{(n-1)/2}\mathrm{e}^{-(nz^2)/2}
\end{align}$$
由随机变量商的分布知：
$$\begin{align}
p(\tau)
&=\int_{-\infty}^{+\infty}p_x(\tau z)\times p_z(z)\times \left|z\right|\mathrm{d}z\\
&=(n\pi)^{-1/2}\frac{1}{\Gamma \left(\frac{n}{2}\right)}\int_0^{+\infty}
\left(nz^2/2\right)^{(n-1)/2}\mathrm{e}^{-(nz^2)/2 \left(1+\tau^2/n\right)}\,,s=(nz^2)/2 \left(1+\tau^2/n\right)\\
&=(n\pi)^{-1/2}\frac{\left(1+\frac{\tau^2}{n}\right)^{-(n+1)/2}}{\Gamma \left(\frac{n}{2}\right)}\int_0^{+\infty}s^{(n+1)/2-1}\mathrm{e}^{-s}\mathrm{d}s\\
&=(n\pi)^{-1/2}\frac{\Gamma \left(\frac{n+1}{2}\right)}{\Gamma \left(\frac{n}{2}\right)}\left(1+\tau^2/n\right)^{-(n+1)/2}\\
&=\frac{n^{-\frac{1}{2}}}{\mathrm{B} \left(\frac{n}{2},\frac{1}{2}\right)}\big(1+\frac{\tau^2}{n}\big)^{-\frac{n+1}{2}}\\
\end{align}$$
即有：
$$\begin{align}
\tau\sim t(\tau\mid n)=\frac{n^{-\frac{1}{2}}}{\mathrm{B} \left(\frac{n}{2},\frac{1}{2}\right)}\big(1+\frac{\tau^2}{n}\big)^{-(n+1)/2}
\end{align}$$
证毕
2、$\displaystyle t(x\mid n)$分布的数字特征
我们来研究 $\displaystyle k$阶原点矩
$$\begin{align}
\mathrm{E}[x^k]
\end{align}$$
知：$\displaystyle t(-x\mid n)=t(x\mid n)$。所以：
$$\begin{align}
\mathrm{E}[x^k]=0,k\in\{2a\mid a\in \mathbb{R}\}
\end{align}$$
下面我们来考虑： $\displaystyle k\in\{2a+1\mid a\in \mathbb{R}\} $
$$\begin{align}
\mathrm{E}[x^k]
&=\int_{-\infty}^{+\infty} x^kt(x\mid n)\mathrm{d}x=\int_{-\infty}^{+\infty} x^k\frac{n^{-\frac{1}{2}}}{\mathrm{B} \left(\frac{n}{2},\frac{1}{2}\right)}\big(1+\frac{x^2}{n}\big)^{-(n+1)/2}\mathrm{d}x\\
&=\frac{n^{-\frac{1}{2}}}{\mathrm{B} \left(\frac{n}{2},\frac{1}{2}\right)}\int_{-\infty}^{+\infty} x^k\big(1+\frac{x^2}{n}\big)^{-(n+1)/2}\mathrm{d}x\,,y=1+\frac{x^2}{n}\\
&=\frac{n^{-\frac{1}{2}}}{\mathrm{B} \left(\frac{n}{2},\frac{1}{2}\right)}2\int_{1}^{+\infty}n^{\frac{k}{2}}(y-1)^{\frac{k}{2}}y^{-\frac{n+1}{2}}\frac{1}{2}n^{\frac{1}{2}}(y-1)^{\frac{1}{2}}\mathrm{d}y\\
&=\frac{n^{\frac{k}{2}}}{\mathrm{B} \left(\frac{n}{2},\frac{1}{2}\right)}\int_{1}^{+\infty}(y-1)^{\frac{k-1}{2}}y^{-\frac{n+1}{2}}\mathrm{d}y\,,z=\frac{1}{y}\\
&=-\frac{n^{\frac{k}{2}}}{\mathrm{B} \left(\frac{n}{2},\frac{1}{2}\right)}\int_{1}^{0}(\frac{1}{z}-1)^{\frac{k-1}{2}}(\frac{1}{z})^{-\frac{n+1}{2}}z^{-2}\mathrm{d}z\\
&=\frac{n^{\frac{k}{2}}}{\mathrm{B} \left(\frac{n}{2},\frac{1}{2}\right)}\int_{0}^{1}(\frac{1}{z}-1)^{\frac{k-1}{2}}(\frac{1}{z})^{-\frac{n+1}{2}}z^{-2}\mathrm{d}z\\
&=\frac{n^{\frac{k}{2}}}{\mathrm{B} \left(\frac{n}{2},\frac{1}{2}\right)}\int_{0}^{1}(1-z)^{\frac{k+1}{2}-1}z^{-\frac{k-1}{2}}z^{\frac{n+1}{2}}z^{-2}\mathrm{d}z\\
&=\frac{n^{\frac{k}{2}}}{\mathrm{B} \left(\frac{n}{2},\frac{1}{2}\right)}\int_{0}^{1}(1-z)^{\frac{k+1}{2}-1}z^{\frac{n-k}{2}-1}\mathrm{d}z\\
&=n^{\frac{k}{2}}\frac{\mathrm{B} \left(\frac{n-k}{2},\frac{k+1}{2}\right)}{\mathrm{B} \left(\frac{n}{2},\frac{1}{2}\right)}\\
\end{align}$$
即有：
$$\begin{align}
\mathrm{E}[x^k]=n^{\frac{k}{2}}\frac{\mathrm{B} \left(\frac{n-k}{2},\frac{k+1}{2}\right)}{\mathrm{B} \left(\frac{n}{2},\frac{1}{2}\right)},k\in\{2a+1\mid a\in \mathbb{R}\}
\end{align}$$
特别有：
$\displaystyle \mathrm{E}[x]=0\,,n>2$
$\displaystyle \mathrm{Var}[x]=\frac{n)}{n-2}\,,n>2$
四、 $\displaystyle F(x\mid m,n)$分布
1、定义
$$\begin{align}
x\sim F(x\mid m,n)=\frac{m^{\frac{m}{2}}n^{\frac{n}{2}}}{\mathrm{B}\left(\frac{m}{2},\frac{n}{2}\right)}x^{m/2-1}\left(n+mx\right)^{-(m+n)/2}\,,x>0
\end{align}$$
【定理】
若有随机变量 $\displaystyle x_1\sim \chi^2(m),x_2\sim\chi^2(n)$，且 $\displaystyle x_1$和 $\displaystyle x_2$相互独立，那么：
$$\begin{align}
\varphi= \frac{x_1/m}{x_2/n}= \frac{\chi^2(m)/m}{\chi^2(n)/n}\sim F(\varphi\mid m,n)
\end{align}$$
证明：
首先我们来分析一下： $\displaystyle x/n$的分布, 我们知道：
$$\begin{align}
x\sim\chi^2(x\mid n)=\frac{2^{-\frac{n}{2}}}{\Gamma \left(\frac{n}{2}\right)}x^{n/2-1}\mathrm{e}^{-x/2}\,,x>0
\end{align}$$
令 $\displaystyle x=nz$，由变量代换定理知道：
$$\begin{align}
z\sim \frac{2^{-\frac{n}{2}}n}{\Gamma \left(\frac{n}{2}\right)}(nz)^{n/2-1}\mathrm{e}^{-nz/2}\,,z>0
\end{align}$$
于是有 $\displaystyle z_1=\varphi z_2$由随机变量商的分布知：
$$\begin{align}
p(\varphi)
&=\int_{0}^{+\infty}p_{z_1}(\varphi z_2)\times p_{z_2}(z_2)\times \left|z_2\right|\mathrm{d}z_2\\
&=C\int_{0}^{+\infty}(\varphi z_2)^{m/2-1}\mathrm{e}^{-m\varphi z_2/2}(z_2)^{n/2-1}\mathrm{e}^{-n z_2/2}z_2\mathrm{d}z_2\\
&=C\varphi^{m/2-1}\int_{0}^{+\infty}z_2^{(m+n)/2-1}\mathrm{e}^{-\frac{1}{2}z_2(n+m\varphi)}\mathrm{d}z_2\,v=z_2(n+m\varphi)\\
&=C\varphi^{m/2-1}(n+m\varphi)^{-(m+n)/2}\int_{0}^{+\infty}v^{(m+n)/2-1}\mathrm{e}^{-\frac{1}{2}v}\mathrm{d}v\\
&=C\Gamma\big(\frac{m+n}{2}\big)2^{(m+n)/2}\varphi^{m/2-1}(n+m\varphi)^{-(m+n)/2}\,,C=\frac{m^{\frac{m}{2}}n^{\frac{n}{2}}2^{-(m+n)/2}}{\Gamma\big(\frac{m}{2}\big)\Gamma\big(\frac{n}{2}\big)}\\
&=\frac{m^{\frac{m}{2}}n^{\frac{n}{2}}}{\mathrm{B}\left(\frac{m}{2},\frac{n}{2}\right)}\varphi^{m/2-1}\left(n+m\varphi\right)^{-(m+n)/2}\,,\varphi>0
\end{align}$$
2、$\displaystyle F(x\mid m,n)$分布的数字特征
我们来研究 $\displaystyle k$阶原点矩
$$\begin{align}
\mathrm{E}[x^k]
&=\int_{0}^{+\infty}x^kF(x\mid m,n)\mathrm{d}x\\
&=\frac{m^{\frac{m}{2}}n^{\frac{n}{2}}}{\mathrm{B}\left(\frac{m}{2},\frac{n}{2}\right)}\int_{0}^{+\infty}x^kx^{m/2-1}\left(n+mx\right)^{-(m+n)/2}\mathrm{d}x\\
&=C\int_{0}^{+\infty}x^{k+m/2-1}\left(n+mx\right)^{-(m+n)/2}\mathrm{d}x\\
&=Cn^{-(m+n)/2}\int_{0}^{+\infty}x^{k+m/2-1}\left(1+\frac{m}{n}x\right)^{-(m+n)/2}\mathrm{d}x\,,y=1+\frac{m}{n}x\\
&=Cn^{-(m+n)/2}\big(\frac{n}{m}\big)^{k+m/2}\int_{1}^{+\infty}(y-1)^{k+m/2-1}y^{-(m+n)/2}\mathrm{d}y\,z=\frac{1}{y}\\
&=Cn^{-(m+n)/2}\big(\frac{n}{m}\big)^{k+m/2}\int_{1}^{0}(\frac{1}{z}-1)^{k+m/2-1}z^{(m+n)/2}(-z^{-2})\mathrm{d}z\\
&=Cn^{-(m+n)/2}\big(\frac{n}{m}\big)^{k+m/2}\int_{0}^{1}(1-z)^{m/2+k-1}z^{n/2-k-1}\mathrm{d}z\\
&=\big(\frac{n}{m}\big)^k\frac{\mathrm{B}\left(\frac{m}{2}+k,\frac{n}{2}-k\right)}{\mathrm{B}\left(\frac{m}{2},\frac{n}{2}\right)}\,,2k<n\\
&=\big(\frac{n}{m}\big)^k\frac{\Gamma\big(\frac{m}{2}+k\big)\Gamma\big(\frac{n}{2}-k\big)}{\Gamma\big(\frac{m}{2}\big)\Gamma\big(\frac{n}{2}\big)}\,,2k<n\\
\end{align}$$
特别有：
$\displaystyle \mathrm{E}[x]=\frac{n}{n-2}\,,n>2$
$\displaystyle \mathrm{Var}[x]=\frac{n^2(2m+2n-4)}{m(n-2)^2(n-4)^2}\,,n>4$
五、评述
我们通过伽马函数引出伽马分布，当然这有点突兀，怎么就突然冒出来了伽马函数？后面还有一个贝塔函数，似乎有一种神秘力量在背后。这两个函数反复出现是有原因的。有机会我们专门会抽空补充一下，让它更加自然。事实上我们可以通过指数分布引入伽马分布。
伽马分布：$\displaystyle x\sim \mathrm{Ga}(x\mid n,v)=\frac{v^n}{\Gamma(n)}x^{n-1}\mathrm{e}^{-vx}\,,x>0$
卡方分布：$\displaystyle x\sim\chi^2(x\mid n)=\frac{2^{-\frac{n}{2}}}{\Gamma \left(\frac{n}{2}\right)}x^{n/2-1}\mathrm{e}^{-x/2}\,,x>0$
t分布：$\displaystyle x\sim t(x\mid n)=\left(n\pi\right)^{-1/2}\frac{\Gamma \left(\frac{n+1}{2}\right)}{\Gamma \left(\frac{n}{2}\right)}\left(1+x^2/n\right)^{-(n+1)/2}$
F分布：$\displaystyle x\sim F(x\mid m,n)=\frac{m^{\frac{m}{2}}n^{\frac{n}{2}}}{\mathrm{B}\left(\frac{m}{2},\frac{n}{2}\right)}x^{m/2-1}\left(n+mx\right)^{-(m+n)/2}\,,x>0$
| 版权声明 |  |
 | 由引线小白创作并维护的柠檬CC博客采用署名-非商业-禁止演绎4.0国际许可证。 本文首发于柠檬CC [ https://www.limoncc.com ] , 版权所有、侵权必究。 |
| 本文永久链接 | httpss://www.limoncc.com/post/fcad1ed76dc00166a235da24da7c2799/ |
| 如果您需要引用本文，请参考： |
| 引线小白. (Jan. 8, 2017). 《三大分布》[Blog post]. Retrieved from https://www.limoncc.com/post/fcad1ed76dc00166a235da24da7c2799 |
| @online{limoncc-fcad1ed76dc00166a235da24da7c2799, title={三大分布}, author={引线小白}, year={2017}, month={Jan}, date={8}, url={\url{https://www.limoncc.com/post/fcad1ed76dc00166a235da24da7c2799}}, } |