概率论的真正历史开始于极限定理的研究。我们发现在大量的重复实验中，一个随机事件有明显的规律性，即它出现的频率在某个固定数的附近摆动。同时我们也观测到，大量随机现象的平均结果也一般具有稳定性：在大量随机现象共同作用时，由于这些随机偏差相互抵消、补偿和拉平，致使总的平均结果趋于稳定。本回顾了弱大数定律主要结论，若有错误，请大家指正。

本文主要用革命的比喻，通俗的总结了测度论的基本问题，并且添加了我自己的一些体会。

贯穿神经网络设计的一个反复出现的主题就是损失函数的梯度必须足够的大和具有足够的预测性。本文讨论均方损失、KL散度、交叉熵之前的等价关系。

分类分布形式具有十分重要的意义，首先让我们把诸多特征与分类建立了数学模型，其次分类分布的期望是一组归一化的概率，直接代表了我们对一次特征观测应该对应于哪个分类的信心。辅助以决策论，很容易做出推断。

反向传播很多教程和网络文章写的不清不楚。本文意在理清自动微分与反向传播大意的问题。若有错误，请大家指正。

感知机是人类历史上第一个真正优秀的人工神经网络。我们需要了解它。

EM算法是解决隐变量问题问题一个强有力方法，本文列举了隐线性模型：因子分析与混合因子分析。本文意在理清混合模型的EM算法的问题。若有错误，请大家指正。

EM算法是解决隐变量问题问题一个强有力方法，本文列举了一些具体模型的应用。本文意在理清混合模型的EM算法的问题。若有错误，请大家指正。

EM算法是解决隐变量问题问题一个强有力方法。本文意在理清EM算法的问题。若有错误，请大家指正。

我们使用条件随机场定义条件概率。我们是基于整体特征定义了观测变量与隐变量的关系，而不像隐马尔可夫模型那样。这大大利于充分利用观测序列的信息，而不是局部信息。