机器学习：Principal components analysis （主分量分析）

本文主要是介绍机器学习：Principal components analysis （主分量分析），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Principal components analysis
这一讲，我们简单介绍Principal Components Analysis(PCA)，这个方法可以用来确定特征空间的子空间，用一种更加紧凑的方式（更少的维数）来表示原来的特征空间。假设我们有一组训练集 $\{x^{(i)}; i=1,...m \}$ ，含有m个训练样本，每一个训练样本 $x^{(i)} \in \mathbb{R}^{n}$ ,其中( $n \ll m$ ),每一个n维的训练
样本意味着有n个属性，一般来说，这n个属性里面，会有很多是存在一定相关性的，也就是很多属性是冗余的，这就为特征的降维提供了可能，关键是如何确定多余的属性以及如何进行降维。

PCA为这个问题提供了一种解决途径，在做PCA之前，我们要先对数据做如下的预处理：

1: 求出训练集的均值向量： $\mu=\frac{1}{m} \sum_{i=1}^{m}x^{(i)}$ .

2: 用每一个训练样本减去均值向量， $x^{(i)}=x^{(i)}-\mu$ .

3: 求出变换后的训练集的方差： $\sigma_{j}^{2}=\frac{1}{m} \sum_{i} (x_{j}^{(i)})^{2}$ .

4: 再将训练集的样本做如下替换： $x_{j}^{(i)}=x_{j}^{(i)} / \sigma_{j}$ .

上面的第1,2步确保了训练集的均值为0，第3,4步保证了训练集的方差为1，使得训练样本里的不同属性变换到同一个尺度上处理。给定一个单位向量 $u$ 和一个点 $x$ ，那么该点 $x$ 到单位向量的投影的长度为 $x^{T} u$ ，如果 $x^{(i)}$ 是训练集里的一个样本，那么它在 $u$ 上的投影长度即为 $x^{T}u$ 到原点的距离，因此，为了能够让这些投影之间的方差最大，我们希望找到满足如下表达式的单位向量 $u$ 。

1 m \sum i = 1 m ((x (i)) T u) 2 = 1 m \sum i = 1 m u T x (i) (x (i)) T u = u T (1 m \sum i = 1 m x (i) (x (i)) T) u

$\begin{equation*} \begin{split} \frac{1}{m} \sum_{i=1}^{m} ((x^{(i)})^{T}u)^{2} & = \frac{1}{m} \sum_{i=1}^{m} u^{T}x^{(i)}(x^{(i)})^{T}u \\ & =u^{T} \left( \frac{1}{m} \sum_{i=1}^{m} x^{(i)}(x^{(i)})^{T} \right) u \end{split} \end{equation*}$

因为 $u$ 是单位向量，所以 $\left \| u \right \|^{2}=1$ ，上式括号中的表达式即为均值为0的协方差矩阵( $\Sigma=\frac{1}{m} \sum_{i=1}^{m} x^{(i)}(x^{(i)})^{T}$ )，为了使目标函数最大化，则 $u$ 应该取 $\Sigma$ 最大的特征值所对应的特征向量。

总之，我们应该取 $\Sigma$ 的主特征向量，如果我们希望将原来的数据空间映射到一个低维的子空间，我们可以选择 $\Sigma$ 的前k个特征向量作为子空间的基向量，那么这k个特征向量 $u_{1}, u_{2}, ... u_{k}$ 组成了新空间的基向量。那么我们可以将原来的训练样本 $x^{(i)}$ 映射到新的特征空间：