反映在贝叶斯公式中，后验分布综合了 的先验信息与样本观测值提供的有关 的信息，是贝叶斯统计推断的基础，所以贝叶斯推断的原则是对参数 所做任何推断必须基于且只能基于 的后验分布。2.3 先验分布的选择由上一节可知，参数 的后验分布由两部分组成：似然函数和先验分布。其中似然函数是模型给定的，而先验分布则是人为设定的，这里人的意愿起主导作用，可见，给出一个合理的先验分布，对参数的求解十分重要。下面介绍几种常用的先验分布：2.3.1 客观先验分布（Objective Prior）客观先验分布是指在无先验知识可用的情况下，对参数的先验分布做出的一种假设。由于我们对 是无知的，所以认为在其取值范围内的每一点都是等概率的，服从一种“均匀分布”。即假设 （2-9）当 为无界区域时， 不是通常意义下的概率分布，为此需要引进广义先验分布的概念。称满足下面两式的分布为广义先验分布：（1） （2-10）（2） （2-11）需要注意，按式（2-10）的定义， 并不是通常意义下的概率分布，但由于式（2-11）的成立，因此类似于式（2-5）所确定的后验分布 是存在的。当 满足式（2-9）且为广义先验分布时， 称为广义均匀分布。由于 （2-12）从而，当 为广义均匀分布时，有 （2-13）即似然函数是后验分布的核心。式（2-13）可以看做是贝叶斯假设下的后验分布形式。通常也称满足贝叶斯假设的先验分布为“无信息先验分布”（non-informative prior）。2.3.2 主观先验分布（Subjective Prior）主观先验分布是将先验信息尽可能多的压缩进先验分布中。先验信息可能是由以往的经验和专业知识获得的。下面介绍一种重要的主观先验分布——共轭先验分布（Conjugate prior）。一个先验分布如果是共轭先验分布，则它的由似然函数 和先验分布 相乘得到的后验分布 和先验分布具有同样的形式。比如，变量 服从二项分布 ， 的先验分布选为 分布，即 （2-14）又参数的似然函数为 （2-15）所以， 的后验分布为 （2-16）上式右端是 分布的核，故 （2-17）可见 的先验分布与后验分布具有相同的分布形式，只是后验分布对参数进行了更新。共轭先验分布要求 提供的信息与样本分布 提供的信息综合以后，不改变 的分布规律。这实质上是认为在推断 的分布时由先验分布提供的信息是主要的。共轭先验分布只存在于指数族模型中，常见的高斯分布，二项分布，伽马分布等都是指数族模型。2.3.3 分层先验分布（Hierarchical Prior）在进行贝叶斯推断的时候，首先假设一个参数的先验分布，例如，假设 服从伽马分布，即 ，这时又引入了两个新的参数 和 。如果将这两个参数也看作随机变量，给它们加上某种分布形式， 和 ，这样就可以通过 和 来控制 的分布，这就是一个分层先验分布的模型。其中参数 和 被称为超参数（Hyperparameter）。类似的，还可以引入新的参数 来控制 和 ，这个过程可以不断地重复，直到某一个参数的先验分布不再依赖其他的参数为止。2.4 小结这一节介绍了贝叶斯统计推断的一些基础知识，包括贝叶斯定理，参数的估计和几种常用先验分布的选取。贝叶斯定理是贝叶斯统计推断的核心，而参数的先验分布的正确选择是参数估计合理性的关键。 第三章 因子分析法3.1 引言在各个领域的科学研究中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。多变量大样本无疑会为科学研究提供丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在大多数情况下，许多变量之间可能存在相关性而增加了问题分
