[发明专利]基于深度耦合自编码的人脸画像合成方法

权利要求书

1.一种基于深度耦合自编码的人脸画像合成方法，其特征在于，包括如下步骤：

(1)获取人脸照片-画像对训练样本集B和测试样本集C：

获取人脸照片-画像数据集中D个人脸照片-画像对数据A，并随机选取A中半数以上的I对数据组合成训练样本集B＝{(x₁,y₁),(x₂,y₂),...,(x_i,y_i),...,(x_I,y_I)}，将剩余的L对数据组合成测试样本集C＝{(x₁,y₁),(x₂,y₂),...,(x_l,y_l),...,(x_L,y_L)}，其中，D≥600，(x_i,y_i)表示由第i个人脸照片和人脸画像组成的训练样本，(x_l,y_l)表示由第l个人脸照片和人脸画像组成的测试样本；

(2)构建基于深度神经网络的人脸照片耦合自编码器H和人脸画像耦合自编码器E：

构建包括顺次级联的人脸照片编码器f_pcode和人脸照片解码器f_pdecode的人脸照片耦合自编码器H，以及包括顺次级联的人脸画像编码器f_scode和人脸画像解码器f_sdecode的人脸画像耦合自编码器E，其中，f_pcode由基于深度神经网络的输入层和隐藏层构成，f_pdecode采用基于深度神经网络的输出层，f_scode采用基于深度神经网络的输入层，f_sdecode由基于深度神经网络的隐藏层和输出层构成；

(3)对人脸照片耦合自编码器H和人脸画像耦合自编码器E进行迭代训练：

(3a)初始化迭代次数为t，人脸照片器编码器f_pcode的权重矩阵为偏差项参数为人脸照片解码器f_pcode的权重矩阵为偏差项为人脸画像编码器f_pcode的权重矩阵为偏差项为人脸画像解码器f_sdecode的权重矩阵为偏差项为当前人脸照片耦合自编码器为H^t，当前人脸画像耦合自编码器为E^t，最大迭代次数为T≥50，并令H＝H^t、E＝E^t,t＝0；

(3b)将训练样本集B分别作为当前人脸照片耦合自编码器H^t和当前人脸画像耦合自编码器E^t的输入，H^t中的人脸照片编码器f_pcode对每幅人脸照片x_i进行编码，得到x_i的隐藏表示H^t中的人脸照片解码器f_pdecode对进行重建，得到重建人脸照片同时E^t中的人脸画像编码器f_scode对每幅人脸画像y_i进行编码，得到y_i的隐藏表示E^t中的人脸画像解码器f_sdecode对进行重建，得到重建人脸画像其中，S(·)表示sigmoid激活函数；

(3c)将均方误差作为人脸照片耦合自编码器H^t的损失值，并采用反向传播方法，通过该损失值计算H^t的网络权重和偏差项参数梯度，然后采用梯度下降算法通过H^t的网络权重梯度对f_pcode的网络权重f_pdecode的网络权重进行更新，采用梯度下降算法通过H^t的偏差项参数梯度对f_pcode的偏差项参数f_pdecode的偏差项参数进行更新，同时使用均方误差作为人脸画像耦合自编码器E^t的损失值，并采用反向传播方法，通过该损失值计算E^t的网络权重和偏差项参数梯度，然后采用梯度下降算法通过E^t的网络权重梯度对f_scode的网络权重f_sdecode的网络权重进行更新，采用梯度下降算法通过E^t的偏差项参数梯度对f_scode的偏差项参数f_sdecode的偏差项参数进行更新。

(3d)判断t≥T是否成立，若是，得到训练好的人脸照片耦合自编码器H^*和人脸画像耦合自编码器E^*，否则令t＝t+1，并执行步骤(3b)；

(4)生成人脸照片、人脸画像的隐藏表示集R:

将训练样本集B作为人脸照片耦合自编码器H^*中的人脸照片编码器f_pcode和人脸画像耦合自编码器E^*中的人脸画像编码器f_scode的输入，H^*中的人脸照片编码器f_pcode对每幅人脸照片x_i进行编码，得到x_i的隐藏表示同时E^*中的人脸画像编码器f_scode对每幅人脸画像y_i进行编码，得到y_i的隐藏表示则训练样本集B对应的隐藏表示集为

(5)构建深度耦合自编码器f_m，并对其进行迭代训练：

(5a)构建包括顺次连接的输入层、隐藏层、输出层的深度耦合自编码器f_m；

(5b)初始化迭代次数为v，f_m中输入层的网络权重参数、偏差项参数为f_m中隐藏层的网络权重参数、偏差项参数为f_m中输出层的网络权重参数、偏差项参数为当前深度耦合自编码器为最大迭代次数为V≥50，并令v＝0；

(5c)将隐藏表示集R作为的输入，将人脸照片的隐藏表示非线性映射为人脸画像的隐藏表示

(5d)将均方误差作为深度耦合自编码器的损失值，并采用反向传播方法，通过该损失值计算的网络权重和偏差项参数梯度，然后采用梯度下降算法，通过网络权重对输入层网络权重参数隐藏层网络权重参数输出层网络权重参数进行更新，通过偏差项梯度对输入层偏差项参数隐藏层偏差项参数输出层偏差项参数进行更新；

(5e)判断v≥V是否成立，若是，得到训练好的深度耦合自编码器否则令v＝v+1，并执行步骤(5b)；

(6)构建人脸画像合成网络f_s，并对其进行迭代训练：

(6a)将训练好的人脸照片耦合自编码器H^*中的人脸照片编码器f_pcode、深度耦合自编码器人脸画像耦合自编码器E^*中的人脸画像解码器f_sdecode顺次级联，构建人脸画像合成网络f_s；

(6b)初始化迭代次数为n，当前人脸画像合成网络为f_sⁿ，最大迭代次数为N≥50，并令n＝0；

(6c)将训练样本集B作为人脸画像合成网络f_sⁿ的输入，f_sⁿ中的人脸照片编码器f_pcode对每幅人脸照片x_i进行编码，得到x_i的隐藏表示f_sⁿ中的f_m将非线性映射为人脸画像的隐藏编码f_sⁿ中的f_sdecode对进行解码重建，得到重建的人脸画像

(6d)将均方误差作为人脸画像合成网络f_sⁿ的损失值，并采用反向传播方法，通过该损失值计算f_sⁿ的网络权重梯度和偏差项参数梯度，然后采用梯度下降算法，通过f_s的网络权重梯度对f_s中f_pcode的网络权重f_m的网络权重以及f_sdecode的网络权重进行更新，通过f_s的偏差项参数梯度对f_s中f_pcode的偏差项参数f_m的偏差项参数以及f_sdecode的偏差项参数进行更新；

(6e)判断n≥N是否成立，若是，得到训练好的人脸画像合成网络f_s^*，否则令n＝n+1，并执行步骤(6b)；

(7)获取人脸画像合成结果：

(7a)将测试样本集C中的每幅人脸照片x_l和每幅人脸画像y_l均分解成大小相同的J块，并将J个人脸照片块组成测试照片候选块集合将J个人脸画像块组成测试画像候选块集合同时将训练样本集B中的每幅人脸照片x_i和每幅人脸画像y_i分解成大小相同的J块，并将J个人脸照片块组成训练照片候选块集合将J个人脸画像块组成训练画像候选块集合并在X^*中为X'中的每个块x_l^j搜索K个相似的块组成训练照片候选块集合X_O，在Y^*中找到X_O中的每个人脸照片块对应的人脸画像块并组成训练画像候选块集合Y_O，其中200≤J≤3125；

(7b)将测试样本集C作为训练好的人脸画像合成网络f_s^*的输入，f_s^*中的人脸照片编码器f_pcode对每幅人脸照片x_l进行编码，得到人脸照片x_l的隐藏编码f_s^*中的深度耦合自编码器f_m将映射为人脸画像的隐藏编码f_s^*中的人脸画像解码器f_sdecode对人脸画像的隐藏编码解码重建，得到重建的人脸画像则试样本集C对应的重建测试画像集为然后将中的每幅人脸画像分解成大小相同的J块，并将J个重建人脸画像块组成重建人脸画像块集合并在Y^*中为Y^α中的每个块搜索K个相似的块组成隐藏人脸画像候选块集合Y_H，在X^*中找到Y_H中的每个人脸画像块对应的人脸照片块并组成隐藏照片候选块集合X_H；

(7c)将训练照片候选块集合X_O和隐藏照片候选块集合X_H串联形成照片字典X＝[X_O,X_H]，并根据X、测试照片候选块集合X'计算权重矩阵W，然后计算W的最优解

X'＝XW＝[X_O,X_H]W

其中||·||_*表示核范数；

(7d)将W的最优解沿行方向划分成X_O对应的权重矩阵和X_H对应的权重矩阵并通过和对人脸照片候选块集合X'进行表示：

(7e)根据相似性假设和步骤(7d)中人脸照片候选块集合X'的表达式，将人脸画像候选块集合表示为Y”，并对Y”中人脸组成部分进行拼接融合，得到测试样本集C对应的L幅人脸画像，其中：