第四章介绍了期望最大（EM）算法和变分贝叶斯（VB）算法。第五章推导了因子分析模型中参数和隐变量的贝叶斯后验分布形式。第六章对全文的工作进行了总结。 第二章 贝叶斯理论基础知识2.1 贝叶斯公式贝叶斯公式源于贝叶斯在他生前为解决一个逆概率问题而写的文章，那时的人们已经能够计算正向概率，那么什么是逆概率呢？这在生活中其实很常见。比如一所学校里面有60%的男生，40%的女生。男生总是穿长裤，女生则是一半穿长裤一半穿裙子。有了这些信息之后我们就可以容易地计算“随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率”，这个就是前面说的“正向概率”的计算。然而，假设你走在校园中，迎面走来一个穿长裤的学生（很不幸你是高度近视，你只看得见他（她）穿的是否是长裤，而无法确定他（她）的性别），你能够推断出他（她）是女生的概率是多大吗？逆概率问题由此产生。接下来就来计算一下这个概率。假设学校里面人的总数是 。60%是男生，而且他们都穿长裤，于是我们得到了穿长裤的男生的人数： ，（其中 是男生的概率，即60%， 是男生穿长裤的概率，被称为条件概率，这里是100% ，因为所有男生都穿长裤）。40%的女生里面又有一半是穿长裤的，于是我们又得到了穿长裤的女生的人数： ， 是女生的概率， 是女生穿长裤的概率，即50%。现在就可以来计算碰到一个穿长裤的学生是女生的概率了，即 （2-1）注意到， ，我们称其为完备事件组。式（2-1）即常说的贝叶斯定理，用规范化的数学语言描述为：设事件 构成一系列互不相容的完备事件组，则对任意事件 有 （2-2）式（2-2）被称为贝叶斯公式，其中 ， 被称为先验概率， 被称为后验概率。贝叶斯公式反映了先验概率向后验概率的转化。为了引入贝叶斯统计模型，将式（2-2）改写为随机变量的形式：假定观测的样本 ，是来自带参数的总体 ，参数 可以是向量，总体的概率密度是 ，贝叶斯学派把 看成是与 一样的具有某种概率分布的随机变量，因此，应把经典统计中的 看成是条件概率密度 ，即已知参数 时总体 的密度。这样，只要知道 的先验概率 ，就可以通过抽取样本观测值来得到对 的新的认识，求出后验概率 ，即 （2-3）在贝叶斯统计模型中，对于参数 的一切推断都是从其后验分布出发的。2.2 贝叶斯推断假设观测变量 服从概率密度为 的分布形式， 为待估参数。现在有 组观测样本 ，它们之间相互独立，则 的联合概率密度为 （2-4）这一概率随 的取值而变化，所以它是 的函数。 被称为样本的似然函数。最大似然估计法是一种在已知模型的一些样本数据的情况下求参数最可能取值的方法。通过对似然函数求关于 的偏导数，可以得到 的估计值 。又因为 与 在同一 处取到极值，所以通常将似然函数写成对数形式 。贝叶斯理论的观点是这样的参数 服从某一概率密度函数 ，用来表示在取得数据之前，对 取值的猜测，即通常所说的先验分布。利用贝叶斯定理，将数据和参数的分布联合起来，则有 （2-5）式（2-5）中的分母项被称为归一化常数，该常数经常被忽略，因为我们关心的是不同参数之间的比较，所以 （2-6）可以看到，后验分布其实就是由似然函数和先验分布的乘积决定的。这个后验分布 是进行参数 的点估计的出发点。贝叶斯点估计有以下三种方法：1．最大后验估计使后验分布 达到最大值的点 被称为 的最大后验估计。即 （2-7）2. 后验均值估计后验分布 的均值 被称为 的后验均值估计，即 （2-8）3. 后验中位数估计后验分布 的中位数 被称为 的后验中位数估计。先验分布概括了实验前对 的认识，而在得到样本观测值 后，认识起了变化，这
