[发明专利]基于深度耦合自编码的人脸画像合成方法

说明书

本发明提出了一种基于深度耦合自编码的人脸画像合成方法，实现步骤为：划分人脸照片‑画像对训练样本集、测试样本集；构建并训练人脸照片耦合自编码器和人脸画像耦合自编码器；生成人脸照片、人脸画像的隐藏表示集；构建并训练深度耦合自编码器；构建并训练优化人脸画像合成网络；将人脸画像候选块集合中人脸组成部分融合形成人脸画像。深度耦合自编码器在对人脸照片编码器对每幅人脸照片进行编码得到的隐藏表示非线性映射为人脸画像的隐藏编码时，不会丢失具有特定身份信息的人脸特征，避免了现有技术直接从照片端到画像端的深度学习模型导致合成画像存在失真或噪声的缺陷，人脸画像不易产生形变，有效提高了合成人脸画像的的相似度。

技术领域

本发明属于图像处理技术领域，涉及一种人脸画像合成方法，具体涉及一种 基于深度耦合自编码的人脸画像合成方法，可用于数字娱乐与公共安全等领域。

背景技术

人脸画像合成是指将人脸照片转变为人脸画像的方法，其在数字娱乐技术领 域可以将人脸照片转换为人脸画像来生成娱乐画像；在刑侦技术领域，可以将照 片数据库中的人脸照片转变为人脸画像生成人脸画像数据库，对由目击者的描述 等线索绘制的人脸画像在生成的人脸画像数据库中进行比对，提高人脸识别的成 功率。

人脸画像合成方法可分为基于线性组合的人脸画像合成方法和基于深度学 习的人脸画像合成方法，基于线性组合的人脸画像合成方法主要包括基于局部线 性嵌入LLE的人脸画像合成方法、基于加权马尔可夫随机场MRF的人脸画像合 成方法和基于贝叶斯的人脸画像合成方法，这些方法都是通过线性组合产生仅存 在于测试照片而不在训练数据的块。然而由于具有特定身份信息的候选块集合， 例如耳环和发型，不能通过线性组合方法重建，所以基于线性组合的人脸画像合 成方法合成的人脸画像总会丢失具有特定身份信息的细节，导致合成的人脸画像 相似度较低。例如申请公布号为CN106023120A,名称为“基于耦合近邻索引的人 脸画像合成方法”的专利申请，公开了一种基于耦合近邻索引的人脸画像合成方 法。该方法将将所有图像划分成图像块，并组成块集合，将训练照片块集合与对 应的画像块集合划分为多个子集，寻找训练照片块子集和训练画像块子集中每一 对照片-画像块的K近邻，最终通过马尔科夫权重网络求解重构权值以求解待合 成画像块。该方法重点关注于训练画像块和训练照片块在近邻寻找中的作用，在 每个照片块位置选择K个训练画像块进行画像合成，从而降低了合成画像的形变 和模糊现象。但是，该方法虽然训练时充分考虑了近邻块的作用，但对于一些具 有特定身份信息的候选块，难以通过近邻搜索的方法重建，所以合成的人脸画像 会丢失耳环、眼镜等细节，导致合成画像相似度不高。

基于深度学习的人脸画像合成方法，如基于生成对抗网络GAN的人脸画像 合成方法和基于卷积神经网络CNN的人脸画像合成方法，放弃了基于线性组合 的人脸画像合成方法中的画像与照片类似的低秩方法假设，虽在一定程度上降低 了丢失特定身份信息细节的问题，但是由于面部画像和照片之间的纹理不同，直 接从照片端到画像端的深度学习模型是不合理的，导致合成画像存在失真或噪 声，且在卷积过程中会丢失了人脸照片各区域间的相关信息，导致合成的人脸画 像容易产生形变，降低合成人脸画像的相似度。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于深度耦合 自编码的人脸画像合成方法，旨在提高合成人脸画像的相似度。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取人脸照片-画像对训练样本集B和测试样本集C：