[发明专利]基于自步学习的数据降维方法

说明书

本发明公开了一种基于自步学习的数据降维方法，涉及模式识别和数据挖掘技术领域。该方法首先定义基于核保持的损失项，通过设计一个新的正则化器得到最终的目标函数表达形式，采用了一种替代性优化策略得到要求得的矩阵，针对新输入的数据，左乘求得的矩阵就可以得到其低维表示。本发明为了进一步消除噪声和离群值的影响，在PCA中引入了人类的认知原理。这样可以提高PCA的泛化能力。其次，通过理论分析和实验能揭示了本发明的鲁棒性。针对最大化问题设计了一种新颖的加权函数，该函数可以定义样本的复杂度，并在学习过程中从“简单”样本逐渐学习为“复杂”样本。本发明的方法适用于高维度数据方面的降维操作。

技术领域

本发明属于模式识别，数据挖掘领域，特别涉及一种基于自步学习的数据降维技术。

背景技术

如今，机器学习，模式识别和数据挖掘应用程序经常涉及具有高维性的数据，例如面部图像，视频，基因表达和时间序列。直接分析此类数据将遭受维度诅咒，并导致性能欠佳。因此，在后续分析之前寻找低维空间至关重要。主成分分析PCA是完成此任务的一种流行技术。

现如今有许多基于主成分分析的数据降维方法，例如基于nuclear-norm的robustPCA(RPCA)、基于图的RPCA、非凸的RPCA。还有基于L₁-norm的PCA方法，对L₁-norm的方法改进的最优平均RPCA(RPCA-OM)，以及基于L_2,p-RPCA的数据降维方法。尽管上述方法使用了不同类型的损失函数，但它们仍然可能对异常大的离群值敏感。另外，它们还有另一个固有的缺点，即它们同等地对待复杂和简单的样本，这违反了人类的认知过程。人工学习从学习任务的简单实例开始，然后逐步介绍复杂的实例。这种学习方案称为自定进度学习，可以缓解离群值问题。

所以说现有的方法无法模拟我们人类学习的一种模式，同时还会受到那些异常值的干扰。

发明内容

为了提高降维的鲁棒性，通过模仿人类的学习提出了一种称为自步PCA(SPCA)的方法。基于L_2,p-RPCA，我们设计了一个新的目标函数，可以动态评估样本的易用性。因此，我们的模型可以作为人类的学习方案，从简单到更复杂的样本进行学习。理论分析和实验结果均表明，我们提出的方法在降低维数方面优于现有的鲁棒PCA算法。本发明采用的技术方案为：首先定义基于核保持的损失项，对于x_i表示样本集合中的一个数据，U表示要求得的矩阵，目标函数表示为：

其中w_i是第i个样本的损失权重，x_i表示第i个图像数据，而f(w_i,η)是正则化器，其中η是年龄参数。以前，用于自定进度学习聚类的正则化器是：

f(w_i,η)＝η(w_ilogw_i-w_i)

通过取方程的导数获得的最优w_i是递减函数损失项，这是不适合我们的最大化问题。我们需要随着损耗增加的最优w_i增加，并随着损耗接近无穷大最终收敛到1。因此，设计了一个新的正则化器，如下所示：

然后我们就能得到最终的目标函数表达形式：

得到了目标函数后，为了解决问题，我们采用了一种替代性优化策略(AOS)，即，我们迭代更新一个参数，同时保持其他参数固定不变。具体求解方式如下：

S1.首先固定我们的权重值w_i，更新l_i，其中为了正确地区分“简单”样本和“复杂”样本，我们将每个样本的损失归一化为“最大变化”区间，l_i的更新方程可以写成下面的形式：