[发明专利]一种基于参考图片的人脸草图着色方法

说明书

本发明公开了一种基于参考图片的人脸草图着色方法，属于图像处理技术领域。本发明包括以下步骤：1、制作成对的草图与真实图片的训练集；2、构建人脸草图编码器获得人脸草图的结构特征和参考图片编码器获得参考图片的特征，使用交叉注意力机制进行特征融合，在解码阶段使用Transformer在融合的特征上建立长距离依赖关系；3、基于构建的编码器‑解码器网络和制作的训练集训练网络模型；4、根据学习得到的模型参数，输入人脸草图和真实的人脸参考图片，得到具有参考图片色彩风格的真实图片。本发明在合成的真实感人脸的不同部位间建立长距离依赖关系，使生成的人脸图片局部细腻、逼真，在全局上也具有一致性、连贯性特点。

技术领域

本发明属于图像处理技术领域，更具体地说，涉及一种基于参考图片的人脸草图着色方法。

背景技术

基于参考图片的人脸草图着色在艺术创作、影视媒体等领域起着重要作用。目前，在深度学习领域关于图像合成已经取得不错的进展，相较于传统的方法，基于深度学习方式无论是在生成的图像质量还是速度方面都优于传统的方法，而在图像生成领域，基于参考图片的人脸草图着色是一个有使用价值的研究方向，并且得益于深度学习技术的发展，基于参考图片的人脸草图着色性能上也是具有落地的应用价值。

传统的图像合成技术是借助于三维重建和形变技术来渲染出合成的真实的图像。但是通过三维技术合成真实图像会耗费较多的时间和财力，且对使用该技术的人要求掌握相应的三维建模和设计方面的知识，使用门槛高，实用性也因此受到限制。目前，国内外传统领域基于草图的图像生成算法普遍采用搜索融合的方法，例如Sketch2Photo和Photosketcher。这些方法主要先通过将草图进行分割，再在图像数据库中对分割的图像块进行匹配，最后将图像块通过融合算法进行融合。为了更加精确的匹配图像块，往往还需要人工对草图进行标注，来缩小图像块匹配的范围，此外，在融合阶段传统的融合算法在全局一致性上也不能取得令人满意的结果，因此引入参考图片的特征将会进一步加剧合成任务的困难，也因此传统的方法在基于参考图片的人脸草图着色问题上存在很大的局限性。

有学者提出Style2paint，是一种基于参考图片着色的深度学习方法，与传统的方法不同，他使用的是一个全卷积的U-Net形状的编码器-解码器网络结构，特征融合也只是简单的特征拼接，Style2paint虽然较于传统方法有很大提升，但在效果上仍不能令人满意。有学者提出一个新型的图像到图像翻译模型ContextualGAN，该算法将成对的草图和彩图进行拼接，然后使用模型来求出测试草图在联合分布上的位置，来找到相对应的彩色图片，虽然该方法能够确保得到的图片具有真实感，但是在反向传播求解路径太长的情况下，会导致测试得到的彩色图片和输入草图不一致的情况。有学者提出了使用两个判别器的基于参考图片的草图着色网络，一个判别器用来判别生成器生成的图片的结构是否和输入的草图一致，一个判别器用来判别生成器生成的图片的颜色是否和输入的参考图片一致，虽然合成的图片结构和颜色上能和输入的草图和结构保持较好的一致性，但是由于生成器网络全卷积的结构，导致该网络模型只适用于简单的图标草图，并不适用于复杂的人脸草图。虽然这些方法在基于参考图片的图像上色已经取得不错的进展，但是在一些情况下却不适用，通常没有考虑输入的草图和参考图片之间的特征相关性，只是进行简单的特征的拼接，卷积网络的局部性特点也导致最终生成的人脸的着色效果出现伪影，全局不一致的现象。

经检索，申请号为：CN202210111517.2，申请日为：2022年01月26日，发明名称为：一种基于注意力机制的草图上色方法。该申请案不同于现有利用色块为草图上色的方法，只需用户输入一张风格参考图片，即可快速为草图进行相似风格的高质量上色。虽然该方法有效的解决了参考图片特征和输入的草图结构特征之间的特征融合问题，而不是简单的进行特征的拼接，但是由于草图和彩色真实图片之间两个图像域差距很大，卷积的局部感受野不足以解决这个域差距，这样最终合成的人脸全局会出现不一致、不连贯和扭曲的问题。