[发明专利]一种基于叠加卷积稀疏自编码机的表示学习方法

权利要求书

1.一种基于叠加卷积稀疏自编码机的表示学习方法，其特征在于，包括以下步骤：

步骤1)设计和实现包括白化的重构独立成分分析算法，并将图像数据集作为输入，迭代优化学习其输出的重构矩阵，得到训练完成的稀疏自编码模型；所述步骤1)具体包括：

步骤1-1)将输入图像数据集表示为{(x₁,y₁),...,(x_nl,y_nl),(x_nl+1),...,(x_n)}，其中n是图像数据集所有数据的数量，y_i∈{1,2,...,c}是数据标签集，nl是有标签的数据数量，c是标签的数量；先对数据进行白化处理，计算输入数据的协方差矩阵再计算出协方差矩阵的特征向量，按列组成矩阵U如下公式所示：

矩阵U中，u₁是主特征向量，其对应最大的特征值，u₂是次特征向量，以此类推，并记λ₁,λ₂,...,λ_n为矩阵U中各向量相应的特征值；

步骤1-2)用计算出的矩阵U表示输入数据如下公式所示：

其中下标rot表示由原数据经过PCA旋转处理后所得到的结果，使用作为缩放因子来缩放每个特征x_rot,i，从而得到PCA白化后的数据表示如下公式所示：

步骤1-3)设R是任意正交矩阵，满足RR^T＝R^TR＝I，那么Rx_PCAwhite仍然具有单位协方差，令R＝U，得到公式(1)：

x_ZCAwhite＝Ux_PCAwhite (1)，

x_ZCAwhite即ZCA白化后得到的原始输入数据的处理数据；

步骤1-4)设计重构独立成分分析算法，将公式(1)获得的x_ZCAwhite作为输入代入代价函数如公式(2)得到：

其中，W为加权矩阵，W^T为W的转置矩阵，Wx_ZCAwhite代表输入x_ZCAwhite的特征表示，λ为超参数；

步骤1-5)对代价函数式(2)求关于x_ZCAwhite的偏导，其中对代价函数式(2)的第一项求偏导时，采用作为偏导函数；代价函数式(2)的偏导函数如式(3)所示：

其中ε是一个极小的常数；

步骤1-6)利用L-FBGS算法，迭代计算加权矩阵W，得到训练完成的稀疏自编码模型；

步骤2)构建半监督叠加稀疏自编码机模型对特征表示做训练；所述步骤2)具体包括：

步骤2-1)构建半监督叠加稀疏自编码机模型，将步骤1-6)得到的加权矩阵W代入代价函数式(2)中，得到的输出记为x_fea，半监督叠加稀疏自编码机的目标函数如公式(4)所示：

公式(4)中，α和γ是超参数，用以控制式(4)中三项的平衡，表示半监督叠加稀疏自编码机的输出,W_SSL和b_SSL分别表示半监督学习中的权重矩阵和偏置向量，ξ_l表示有标签数据隐藏层的输出；

表示从x_fea到特征提取后重新表示的数据之间的重构误差，其中β是控制稀疏惩罚项权重的超参数，s表示隐藏层节点的数量，是用以做稀疏惩罚项的KL距离，其中p是稀疏参数，是隐藏层节点r的平均激活值；

表示根据数据标签做的多类回归偏置项，其中n是图像数据集所有数据的数量，y_i∈{1,2,...,c}是数据标签，ξ_il表示第i个有标签数据第l层隐藏层的输出；

表示权重矩阵W_SSL和偏置向量b_SSL的约束项；

步骤2-2)迭代求解半监督叠加稀疏自编码机，关于权重矩阵W_SSL和偏置向量b_SSL的偏导数计算公式如下：

表示从x_fea到输出特征之间的重构误差，其中δ^(l+1)表示重构误差关于b_SSL的偏导，表示为：其中z_i^(l+1)＝W_SSL^(l+1)x_i+b_SSL^(l+1)；

J₂(W_SSL,ξ_l)是根据数据标签做的多类回归偏置项，定义则J₂关于权重矩阵W_SSL偏导数的计算公式如下所示：

J₃(W_SSL,b_SSL)表示权重矩阵W_SSL和偏置向量b_SSL的约束项，其关于W_SSL和b_SSL的偏导数计算公式如下所示：

步骤3)构建卷积模型从数据中提取块特征，应用卷积和池化操作生成卷积特征表示；所述步骤3)具体包括：

步骤3-1)构建卷积模型从数据中提取块特征，步骤2-2)得到的x_fea表示为其中c表示图像数据通道数量，m₁和m₂是图像数据的高和宽；在x_fea中提取块特征来组成训练集，其中n₁和n₂是P的大小，K是P的数量，n₁×n₂×c是卷积核的大小，将每个输入数据都映射到(n₁×n₂×c)×1中去；

步骤3-2)对卷积特征做平均池化优化特征表示，在步骤3-1)获取到卷积块特征P的基础上，对P做归一化，目标函数如公式(5)所示：

其中mean(P)是P的均值，var(P)是P的方差；利用随机梯度下降方法，在m₁×m₂的图像大小上，对卷积特征做池化，即使用卷积的方法，对归一化的卷积块特征P，求整个图像范围内的卷积特征x_pooled；

步骤4)将卷积稀疏自编码机进行叠加，对卷积特征表示进行进一步优化；

步骤5)在最终学习得到的特征表示的基础上，用逻辑回归模型在图像数据集上训练分类器，并得到分类结果。