[发明专利]一种基于深度参数学习的最大相关主成分分析方法

说明书

本发明公开了一种基于深度参数学习的最大相关主成分分析方法，其针对具有非线性结构的高维数据能够有效地降维。这种基于深度参数学习的最大相关主成分分析方法，利用深度参数化的方法逼近未知但存在的非线性函数，把具有非线性结构的高维数据映射为具有线性结构的同维度数据，然后利用主成分分析对数据降维。

技术领域

本发明属于数据处理，尤其是人脸数据库的数据降维的技术领域，具体地涉及一种基于深度参数学习的最大相关主成分分析方法。

背景技术

在大数据时代，面临着越来越多的数据分析和数据处理任务。面对这些任务时，主要存在两个问题。一是，在现实世界中，通常获取到的是更高维形式的数据。这些数据一般是把隐藏在低维子空间或者流形的本征低维结构嵌入在高维数据空间。高维度不仅需要更多的存储空间和计算成本，而且由于维度“诅咒”也增加了数据分析的难度。二是，现实世界的数据很可能被各种各样的噪声所破坏，这阻碍了分析数据中真实的信息和存在的相关性。

为了准确、高效地处理这些真实世界的数据，人们总是努力从原始的高维数据中降低数据的维数和提取出重要的特征。其中主成分分析(PCA)是一种标准工具，可以从带噪声的或高维数据中提取相关特征信息。通过最小的努力，PCA提供了一种基本的方法来揭示隐藏的或简化的结构，并将高维数据降到更低的维度。在一些科学研究领域中，PCA有着广泛的应用，如图像分析，模式识别和机器学习。然而，PCA只考虑变量(特征)之间的线性相关性，不适用一些具有非线性相关结构的数据，比如瑞士卷数据。由于大多数真实世界数据是非线性，这将限制PCA的应用。

为了解决PCA的这一缺点，许多科研人员致力于研究非线性降维方法。有人提出了核PCA(KPCA)方法，它是在特征空间中改写传统的PCA，通过使用核技巧，在一个再生核Hilbert空间中执行传统的线性算子PCA。事实上，一个大的数据集会导致一个大的核矩阵，而存储核矩阵可能变得困难。此外，如何选择合适的核函数完全取决于经验和列举。为了解决这个问题，最大方差展开(MVU)尝试学习一个核矩阵。然而，MVU增加了优化问题的约束，这可能不利于展开数据所在的流形空间。等距特征映射算法(Isomap)也是一种通过在低维流形上或者附近点保持数据两点间的测地线距离来展开数据的方法。Isomap基于每个数据点邻域的粗略计算，对估计数据流形的本征几何提供了一种简单的方法。然而，Isomap可能在邻域图中建立错误的连接，如短路。为了克服Isomap的缺点，提出了几种改进的Isomap方法。它们确实取得了良好的效果，但也缩小了Isomap的应用范围。

与前面提到的关于全矩阵特征分解的非线性降维方法相比，局部线性嵌入(LLE)也侧重于保持数据的局部结构。与Isomap相比，它具有几个优点，包括在执行稀疏矩阵算法时实现更快的优化，有很多问题可以获得更好的结果。然而，当大比例的数据在低维空间中保持集中，或者遇到包含洞的流形时，可能会表现较差的性能。另一类降维方法是优化非凸目标函数，如多层自编码，局部线性调和(LLC)，Sammon映射。多层自编码是这些方法中应用最广泛的一种。多层自编码可以看作是非线性PCA，它使用自适应多层“编码器”网络将高维数据转换为低维代码，以及类似的“解码器”网络，从低维代码中恢复数据。自编码的目标是从数据集中学习的一种表示(编码)，通常是为了达到降维的目的。自编码已经成功地应用于数据的生成模型。然而，他们的训练可能很复杂。

另一种类型的PCA是最大相关主成分分析(MCPCA)，它首先通过线性或者非线性的转移算子，把数据映射到同纬度空间。然后最大化映射后得数据的协方差的q-Ky Fan范数(协方差矩阵的前q个最大的特征值之和)。然而，寻找转移算子是一项艰巨的任务。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于深度参数学习的最大相关主成分分析方法，其针对具有非线性结构的高维数据能够有效地降维。