[发明专利]一种基于栈式降噪自编码神经网络的数据约简方法

说明书

本发明公开了一种基于栈式降噪自编码神经网络的数据约简方法，其特征在于，栈式降噪自编码神经网络的约简模型构建步骤如下：步骤1：将前一个DAE的输出，作为下一个DAE的输入，以此来达到层层编码的目的；步骤2：用来表示原始的输入样本，并用来代表第i层的DAE的编码情况，可以得出每一层的DAE的编码情况；进行逐层贪婪训练及微调，微调过程通过BP算法调整初始参数的交叉熵函数以保证重构误差的最小化。本发明采用降噪自编码网络的改进方法‑栈式降噪自编码神经网络算法对样本特征集进行降维，以降低各类模型的复杂度，提高及机器学习应用中分类器的分类效果，减少各类学习算法的运算成本，并对该方法约简的可行性和高效性进行了验证。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于栈式降噪自编码神经网络的数据约简方法。

背景技术

自编码器(Autoencoder，AE)是由Hinton于2006年提出的，其结构分为输入层，输出层，及其隐含层。输入层和输出层神经元数量相同，隐含层神经元数量较少，其中输入层和隐含层构成编码网络部分，AE在编码网络部分压缩数据。

目前，随着数据采集、存储技术的快速发展，数据冗余的问题越来越严重，它不仅极大地浪费存储空间，也会显著降低基于数据的建模。

针对海量数据集的维度高、冗余度大，指标间关联性较强的特点，为提高对数据处理能力和数据可用性，需要提出一种新型方法对原始数据进行预处理。

发明内容

发明的目的在于提供一种基于栈式降噪自编码神经网络的数据约简方法，本发明采用降噪自编码网络的改进方法-栈式降噪自编码神经网络算法对样本特征集进行降维，以降低各类模型的复杂度，提高及机器学习应用中分类器的分类效果，减少各类学习算法的运算成本，并对该方法约简的可行性和高效性进行了验证，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于栈式降噪自编码神经网络的数据约简方法，通过q_D，原始数据X被扰乱成，并将此带有噪声的数据作为自编码器的输入，通过f_θ，对隐藏层各个神经元的激活值进行计算，栈式降噪自编码神经网络的约简模型构建步骤如下：

步骤1：将前一个DAE的输出，作为下一个DAE的输入，以此来达到层层编码的目的；

步骤2：用x₀来表示原始的输入样本，并用x_i来代表第i层的DAE的编码情况，可以得出每一层的DAE的编码情况，其表示方式如下：

x_i＝f_θ(x_i-1)i＝1,2,3,…。

步骤3：进行逐层贪婪训练及微调，其中，逐层贪婪训练过程通过最小化原始输入数据与重构编码的差异训练权重，得到初始参数，微调过程通过BP算法调整初始参数的交叉熵函数以保证重构误差的最小化，以得到最优重构效果的目的。

进一步地，训练由多层DAE构成的SDAE时，需要采用逐层贪婪的原则，对每一层DAE进行单独训练得到初始化参数，并在保证重构误差最小化的基础上对参数进行微调。

进一步地，其包括如下步骤：先利用输入的样本特征训练SDAE的第一层，即第一个DAE，并通过微调得到相应的参数，然后将该DAE的隐含层输出作为第二个DAE的输入，训练并微调得到第二个DAE的参数，依次下去，便可以得到基于SDAE的约简模型。

进一步地，在整个训练过程中，训练下一个DAE时要保证上一个DAE的参数不变。