[发明专利]一种基于自适应多列深度模型的人脸图像正规化方法

权利要求书

1.一种基于自适应多列深度模型的人脸图像正规化方法，其特征在于：该方法包括以下步骤：

S1：建立自适应多列深度模型；自适应多列深度模型由多个深度神经网络(DeepNeural Network,DNN)线性组合而成，每个DNN用于去除某种特定类型因素的影响，包括光照变化、表情变化、姿态变化和遮挡因素中的一种或几种的组合，其参数也采用受这种因素影响的数据来训练；输入一幅未经矫正的图像，每个DNN都对其进行某种因素的矫正并输出一幅恢复后的图像，权重预测模块根据每个DNN隐层节点的输出来预测最优的组合权重，即权重由输入图像自适应决定，最终的恢复图像是每个DNN输出图像的加权平均；其中，深度神经网络DNN选择栈式稀疏去噪自编码器(Stacked Sparse Denoising Autoencoder,SSDA)、深度卷积神经网络(DCNN)，亦或是二者的组合；SSDA将受各种因素影响的人脸图像看成受噪图像，用去噪的方法去除人脸图像中的各种影响因素，恢复正常光照、正面、无遮挡和自然表情的人脸；而DCNN则首先通过深度卷积网络提取具有不变性的特征，然后进行人脸重建直接重建出正常光照、正面、无遮挡和自然表情的人脸；

S2：自适应多列深度模型的训练；

所述训练包括S21：深度神经网络DNN的训练；S22：训练数据权重的预测；S23：权重预测模块的训练；

S3：目标人脸图像正规化；

所述S21中的深度神经网络的训练包括S211：栈式稀疏去噪自编码器SSDA的训练；S212：深度卷积神经网络DCNN的训练；

所述SSDA的训练包括以下步骤：

S2111：SSDA由多个去噪自编码器(Denoising Autoencoder,DA)构成；DA是一个两层的神经网络，一个输入层、一个隐层和一个输出层，由1个编码器和1个解码器组成；一个由K个DA构成的SSDA为1个多层神经网络，包括一个输入层、2K-1个隐层和一个输出层；设第k个DA包括一个编码器和一个解码器则SSDA分为编码部分从到以及解码部分从到SSDA由K个去噪自编码器DA构成，SSDA的训练为每个DA的训练，DA能够通过优化如下稀疏正则化重建损失函数进行训练：

其中，X＝{x₁,x₂,...x_N}表示受各种因素影响的输入图像集合，Y＝{y₁,y₂,...y_N}表示与输入图像集合对应的目标图像groundtruth集合；给定N个训练数据D＝{(x₁,y₁),...,(x_N,y_N)}；是DA的输出；Θ＝{W_S,b,W_S',b'}是需要优化的参数；λ、β和ρ是超参数，J是隐层节点的个数，是隐层节点的平均输出值向量，稀疏诱导项是目标激活值ρ和第j个隐层节点平均激活值之间的KL散度，通过选择较小的目标激活值ρ使得的分量尽量小；

S2112：训练完第一个DA之后，将干净图像和污染图像的隐层输出分别作为干净和污染图像来训练第二个DA，重复上述过程直到完成K个DA的训练；

S2113：通过最小化以下的损失函数，利用标准的反向传播算法对整个网络的参数进行精确调整：

其中表示SSDA中第l层的参数；

S2121：DCNN由特征提取层与重建层构成，特征提取层由3个局部连接层与2个pooling层构成，用于提取不变特征；其中，局部连接层通过稀疏的权值矩阵对输入图像或前一层输出的特征图进行滤波生成特征图或新的特征图，pooling层通过矩阵V1和V2将局部连接层输出的特征图featuremap进行下采样以减少需要学习的参数的个数同时保留更加鲁棒的特征；重建层为全连接层，通过权值矩阵将提取的特征变换为标准条件下的正脸图像；参数的初始化，通过逐层的方式进行：

其中，X¹、X²、X³分别为三个局部连接层的输出；O，P，Q均为一个固定的二元矩阵，分别由及生成的特征图中相同位置的像素值相加而得，用于使及与Y具有相同大小；

S2122：采用随机梯度下降法最小化以下重建误差损失函数进行参数的更新：

其中，所述S22训练数据权重的预测为求解训练数据D的最优权重向量s＝[s₁,...,s_c]^T，通过求解二次优化问题得到，其中表示C个DNN的输出图像的组合；所述S23权重预测模块的训练中的权重预测模块是一个径向基函数RBF神经网络，将特征向量Φ作为输入、s作为输出采用神经网络参数优化方法训练RBF的参数；步骤S22后，生成一个新的训练样本集(Φ,s)，其中Φ＝[f₁,...,f_C]为特征向量，由各SSDA隐层节点，或DCNN特征提取层的输出值连接得到；

所述S3目标人脸图像正规化的方法包括AMC-SSDA、AMC-DCNN和AMC-SSDA+DCNN；①AMC-SSDA：基于自适应多列栈式稀疏去噪自编码器(AMC-SSDA)的人脸矫正的基本思路是将受光照变化、表情变化、姿态变化和遮挡因素影响的人脸图像看成一幅噪声污染图像，标准条件下的正脸图像作为干净图像，训练多个栈式稀疏去噪自编码器(SSDA)进行去噪，每个SSDA对应一种影响因素或不同影响因素的组合，完成一种或几种因素的影响的去除，然后利用所有SSDA的线性组合构成AMC-SSDA进行联合去噪，完成人脸的光照变化、表情变化、姿态变化及遮挡各种噪声的去除，实现人脸的正规化矫正；②AMC-DCNN：将AMC-SSDA中的SSDA替换为DCNN，即构成AMC-DCNN；与SSDA通过去噪进行人脸矫正不同的是，DCNN直接采用人脸重建的方法重建出标准条件下的正脸图像，标准条件包括正常光照、无遮挡和自然表情；将受光照变化、表情变化、姿态变化和遮挡因素影响的人脸图像作为输入，标准条件下的正脸图像作为输出，训练出多个深度卷积神经网络(DCNN)进行人脸重建，每个DCNN对应一种影响因素或几种影响因素的组合，完成一种因素或几种因素影响下的人脸的重建；AMC-DCNN利用所有DCNN的线性组合联合进行人脸的重建，实现各种因素影响下的人脸重建；③AMC-SSDA+DCNN：考虑到DCNN已经用于对角度和光照条件进行矫正，将自适应多列深度模型中用于进行角度和光照条件矫正的用DCNN实现，而其他因素的矫正用SSDA实现，实现一个DCNN与SSDA组合构成的自适应多列深度神经网络AMC-SSDA+DCNN。