[发明专利]一种结合自然梯度的概率主组件在线学习方法

说明书

基于特征值分解的主组件分析模型就是复杂度较高。概率主组件分析是从概率的角度理解主组件分析模型，采用期望最大化算法迭代求解，对于大规模高维数据可有效提高模型效率。但是该算法在参数更新过程中，需要遍历整个数据集才能更新一次参数，参数更新较慢，很难扩展到大规模数据集。本发明提出一种结合自然梯度的概率主组件在线学习方法，通过结合概率主组件分析与自然梯度，实现在线增量学习模型。本发明包括：模型建模单元、优化目标构建单元、及优化问题求解单元。模型建模单元是对传统的概率主组件分析模型引入自然梯度。优化目标构建单元通过似然函数构建优化目标。优化问题求解单元采用EM算法，引入自然梯度，使用单个样本进行参数更新。

技术领域

本发明涉及机器学习领域，更具体说是涉及一种结合自然梯度的概率主组件在线学习方法。

背景技术

数据降维是指将高维样本数据通过线性或者是非线性变换映射到低维空间，获得高维数据在低维空间的一种表示。近年来，数据降维在众多领域变得越来越重要，高维的数据通过数据降维可以去除高维空间中不相关或者不重要的属性减轻维数灾难，能够对数据的分类、压缩以及可视化带来良好效果。目前常用的降维方法有线性判别分析(lineardiscriminant analysis，LDA)、局部线性嵌入(locally linear embedding，LLE)、拉普拉斯特征映射(laplacian eigenmaps，LE)以及主组件(principal component analysis，PCA)。LDA是一种属于有监督学习降维技术，基本原理是使得投影之后的每一种类别数据的投影点尽可能接近，而不同类别数据的类别中心之间的距离尽可能大。 LDA在降维过程中可以使用类别的先验知识经验，但是LDA不适合对非高斯样本分布进行降维，并且最多只能降到类别数减一的维度。 LLE属于流形学(manifold learning)的一种。它将高维数据投影到低维空间中，并保持数据点之间的局部线性关系，其核心思想是每个点都可以由与它相近的多个点的线性组合近似，投影到低维空间之后要保持这种线性重构关系，并且有相同的重构系数。LLE算法归结为稀疏矩阵特征分解，计算复杂度相对较小，实现容易，但是算法对最近邻样本数的选择敏感，不同的最近邻数对最后的降维结果有很大影响。LLE是用局部的角度去构建数据之间的关系，它的直观思想是希望相互间有关系的点(在图中相连的点)在降维后的空间中尽可能靠近，可以反映出数据内在的流形结构，但是局部特征保留特性使得它对孤立点和噪音不敏感。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主组件，是在原有n 维特征的基础上重新构造出来的k维特征，消除了特征之间的多重共线性。通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵特征值的特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。但是PCA在求解时需要计算数据的协方差矩阵，过程较为繁琐。概率主组件分析(probabilistic principal componentanalysis，PPCA)是从概率角度理解PCA，将PCA纳入生成式框架，与传统的PCA相比，PPCA属于隐变量模型，可以使用EM(expectation maximization，EM)算法求解，避免了计算数据协方差矩阵。概率模型与EM的结合能够处理数据集里的缺失值问题。PPCA也可以用一种生成式的方式运行，生成新的样本。但是通过传统EM算法求解 PPCA模型时会存在参数更新过慢的问题。

因此，本文发明一种结合自然梯度的概率主组件在线学习方法，通过将PPCA与自然梯度结合，实现在线增量学习模型。

发明内容

有鉴于此，本发明提供了一种结合自然梯度的概率主组件在线学习方法，不仅可以提高降维效果，并且算法运行时间上较传统PPCA 有明显提高。

一种结合自然梯度的概率主组件在线学习方法，包括：模型建模单元、优化目标构建单元、及优化问题求解单元。