[发明专利]一种基于叠加卷积稀疏自编码机的表示学习方法

说明书

本发明公开了一种基于叠加卷积稀疏自编码机的表示学习方法，其特包括以下步骤：1）设计和实现包括白化的重构独立成分分析算法，并将图像数据集作为输入，迭代优化学习其输出的重构矩阵，得到训练完成的稀疏自编码模型；2）构建半监督叠加稀疏自编码机模型对特征表示做训练；3）构建卷积模型从数据中提取块特征，应用卷积和池化操作生成卷积特征表示；4）将卷积稀疏自编码机进行叠加，对卷积特征表示进行进一步优化；5）用逻辑回归模型在图像数据集上训练分类器，并得到分类结果。本发明结合自编码机模型和卷积池化结构的特点，并利用大规模数据集中的少部分有标签数据，达到优化特征表示向量，提高图像数据集分类准确度。

技术领域

本发明涉及数据挖掘研究领域，特别涉及一种基于叠加卷积稀疏自编码机的表示学习方法。

背景技术

表示学习是能够从原始数据如图像数据集中学习更高层次和更鲁棒的特征向量的有效方法，并能够基于学习得到的特征向量进行分类和预测等机器学习任务。近年来，基于深度学习的方法已经被广泛应用于表示学习中，根据标签的使用情况，可以主要分为有监督深度学习和无监督深度学习两种。典型的有监督深度学习模型是卷积神经网络(CNN)，其已经在如计算机视觉等机器学习任务上获得了广泛的应用。CNN的主要优势有两个方面，首先，其深层结构特性大幅度增加了其学习能力，能够将输入的数据转换为更好的特征表示向量。其次，CNN中使用的卷积和池化结构也是关键因素，卷积结构在学习图像数据时保留了特征的相对位置和数据的空间信息，池化结构将卷积特征在不同位置的统计信息聚合起来，从而减少了特征维数和过拟合问题。然而，有监督深度学习的主要问题在于训练阶段需要大量的有标签数据，这导致了巨大的计算代价。

叠加降噪自动编码机(SDA)是典型的无监督深度学习模型，它试图在无标签输入数据的情况下学习更好的特征表示。SDA的基本思想是通过编码层和解码层学习原始数据的重构特征表示，虽然其目标也是学习高层次的特征表示，但SDA与卷积网络相比，抛弃了输入数据的固有结构，为了解决这个问题，已经有一些工作如叠加卷积自动编码机和叠加稀疏自动编码机尝试将SDA与卷积池化结构进行结合，然而，由于实际中的数据集往往是少部分有标签数据和大量无标签数据共存，对有标签数据的忽略导致无监督深度学习模型的性能不理想。

尽管上述的有监督和无监督深度学习模型已经在表示学习领域取得了良好的表现，并在各个领域得到了应用，但仍有两个主要问题阻碍了这些算法的进一步应用，第一个问题是多层卷积神经网络的训练问题，虽然近年来已经有了一些优化工作，但在半监督或非监督神经网络中，一些有效的正则化和优化方法，如稀疏约束等，其表现和性能仍然较差；第二个问题是标签信息的使用和图像数据的数据冗余问题，实际中的数据集往往是少部分有标签数据和大量无标签数据共存，忽略有标签数据比如会导致模型整体性能下降，同时，由于图像数据集局部区域内图像的相邻像素高度相关，数据冗余问题不解决则导致学习得到的高维特征表示可能不够抽象和鲁棒，进而导致错误。

发明内容

本发明的目的是克服现有技术缺陷，提供一种基于叠加卷积稀疏自编码机的表示学习方法，结合自编码机模型和卷积池化结构的特点，并利用大规模数据集中的少部分有标签数据，达到优化特征表示向量，提高图像数据集分类准确度。

本发明的目的是这样实现的：一种基于叠加卷积稀疏自编码机的表示学习方法，包括以下步骤：

步骤1)设计和实现包括白化的重构独立成分分析算法，并将图像数据集作为输入，迭代优化学习其输出的重构矩阵，得到训练完成的稀疏自编码模型；

步骤2)构建半监督叠加稀疏自编码机模型对特征表示做训练；

步骤3)构建卷积模型从数据中提取块特征，应用卷积和池化操作生成卷积特征表示；

步骤4)将卷积稀疏自编码机进行叠加，对卷积特征表示进行进一步优化；

步骤5)在最终学习得到的特征表示的基础上，用逻辑回归模型在图像数据集上训练分类器，并得到分类结果。