协方差为 。对 进行线性变换有 （3-11）将上式写成矩阵形式为 （3-12）我们希望寻找一组新的变量 ，这组新的变量要求充分地反映原变量的信息，而且相互独立。我们知道，当一个变量只取一个数据时，这个变量（数据）提供的信息量是非常有限的，当这个变量取一系列不同数据时，可以从中读出最大值、最小值、平均数等信息。变量的变异性越大，说明它对各种场景的“遍历性”越强，提供的信息就更加充分，信息量就越大。主成分分析中的信息，就是指标的变异性，用标准差或方差表示它。从线形代数的角度来看，PCA的目标就是使用另一组基去重新描述得到的数据空间。而新的基要能尽量揭示原有的数据间的关系。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标轴（称为第一主成分）上，第二大方差在第二个坐标轴（第二主成分）上，依次类推，保持数据集的对方差贡献最大的特征，这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。PCA的重点在于最大限度的体现原数据所包含的信息，而FA模型的重点在于解释原始变量之间的内在关系。主成分分析的一个显著特点是没有对观测数据建立概率模型，模型中的参数是固定的，需要计算数据的协方差矩阵，当观测量的维数很高时，计算量会很大。因此Bishop和Tipping在1999年提出了概率主成分分析模型（Probabilistic Principal Component Analysis，PPCA）。同样的，设 是 维随机变量，均值为 ，协方差为 。 是 维不可观测的隐变量，通常服从高斯分布 ，则有 （3-13）其中 为原始变量在坐标空间的各个方向上所加的噪声，同样服从高斯分布 。于是可以通过最大似然估计得到模型中的参数和隐变量。可以看到，概率PCA与FA模型在形式上十分相似，只是两者在噪声变量上限制不同。概率PCA模型要求所加噪声在各个方向上一致，而FA模型则舍去了这一限制。其次，PCA模型和PPCA模型都要求观测变量子空间的基是正交的，由于零均值高斯变量正交则独立，因此，这两种模型相应的隐变量各元素是相互独立的。但事实上，独立变量不一定都是正交的，独立的条件要比正交更弱，FA模型并不要求观测变量的子空间的基相互正交，通过似然函数最大保证隐变量各元素的独立统计性，同时还放宽对噪声的限制，并不要求噪声变量各元素的方差都相同。因此具有更普遍的适用性。3.4 小结这一章介绍了因子分析法的基本知识和主要性质，并与主成分分析作了比较。要对观测数据进行因子分析，首先就要对因子分析模型中的参数进行估计，参数包括因子载荷阵 和特殊因子的方差 。在运用极大似然法估计时，由于模型中存在不可观测的隐变量，要找到使对数似然函数达到最大值的参数是十分困难的，在下面的一章中，将介绍一种参数估计的特别算法，EM算法。它在解决模型中存在隐变量的参数估计这一方面十分有效。第六章 结束语因子分析法作为一种有效的数据降维的方法，广泛的应用于人工智能，机器学习和模式识别领域。由于模型中存在不可观测的隐变量，使得参数的估计比较复杂。本文从贝叶斯理论出发，运用变分贝叶斯EM算法推导出因子分析模型中参数和隐变量的后验分布形式，并在一定程度上解决了隐变量维数的自动确定问题。现将本文的主要工作归纳如下：*介绍了贝叶斯理论的基础知识，包括贝叶斯定理，贝叶斯估计和先验分布的选择。*介绍了因子分析模型，并与主成分分析作简要比较。*运用变分贝叶斯算法推导出了因子分析法的贝叶斯后验分布公式，并用Matlab编程实现。 本文尚存在一些问题没有解决，比如算法只能解决隐变量维数较少的数据，且程序对于初始条件的设置过于敏感等，这些将在今后的
