[发明专利]一种根据先验信息快速生成高分辨率完整人脸图像的方法

说明书

本发明涉及一种根据先验信息快速生成高分辨率完整人脸图像的方法，属于人工智能计算机视觉图像补全技术领域。将提取到的视频数据按帧切分，输出完整的高分辨率图像；根据先验信息快速生成高分辨率完整人脸图像，具体使用条件生成对抗网络模型，以嘴唇残缺的高分辨人脸图像作为输入，使用条件生成对抗网络模型的生成器生成完整低分辨率人脸图像，然后使用超分辨率网络将低分辨率人脸图像转化为高分辨率人脸图像；再将两个训练好的模型结合实现由低分辨率嘴唇残缺人脸图像快速生成高分辨率完整人脸图像。所述方法能极大降低生成对抗网络模型的训练难度何缩短生成对抗网络模型的训练时间；能大幅提升生成对抗网络模型的生成器进行前向推断的速度。

技术领域

本发明涉及一种根据先验信息快速生成高分辨率完整人脸图像的方法，属于人工智能计算机视觉图像补全技术领域。

背景技术

图像补全是指根据已有残缺图像的边缘和纹理等特征对图像残缺部分进行补全，得到完整图像的过程。图像补全作为计算机视觉领域的一个重要研究方向，已经有相当长的研究历史，且在这个过程中，涌现出了大量的方法，近年来，随着深度学习技术的兴起，出现了大量使用各种神经网络模型进行图像补全的方法。目前比较常见的方法主要是使用基于深度学习的生成式模型，常用的3种有代表性的方法是自回归模型、变分自编码器和条件生成对抗网络，这三种方法各有优缺点，而根据已有嘴唇残缺人脸图像快速生成高分辨率完整人脸图像可以视为图像补全的一个子问题，由于嘴唇部分与人脸其他部分的纹理特征差别较大，所以不仅传统的图像补全方法并不适用，而且自回归模型和变分自编码器在这个问题上的表现效果不佳，相比之下，条件生成对抗网络效果相较于自回归模型和变分自编码器不仅效果更好，而且速度也更快，因此成为此类问题的首选方法。但是使用条件生成对抗网络解决此问题时存在如下两个缺陷：

1)使用条件生成对抗网络，以嘴唇残缺的高分辨人脸图像作为输入，完整的高分率人脸图像作为输出，在训练过程中，训练难度大，耗费计算资源多，而且训练时间长。

2)在条件生成对抗网络模型训练结束后，使用模型的生成器部分进行前向推断时，速度较慢。

本发明的主要目的是找到一种方法，能够快速地根据已有嘴唇残缺低分辨人脸图像快速生成高分辨率人脸图像，即此方法主要是提升上述的方法生成高分辨率人脸图像时的速度，同时能尽可能的降低神经网络模型的训练难度，提升训练效率。首先，针对上述目的，发明人认为，高分辨率图像与低分辨率图像虽然尺度不同(即大小不同)，但其空间结构是相似的，同时图像具有平移和尺度不变性特征，这里的不变性指的是图像表达的语义信息不变，即内容不变，由此可知，高分辨图像与低分辨图像之间的区别只在于高分辨图像比低分辨率图像包含更多的细节的信息，因此一张高分辨率图像可以通过在一张低分辨图像的基础上，在保证空间结构相似的前提下，利用已有信息，增加其细节，从而得到高分率图像，基于此考虑，作者认为，可以使用条件生成对抗网络中的较好实现pix2pix网络模型的方法生成完整低分辨率人脸图像，然后在使用超分辨网络模型的方法，增加低分辨率图像细节，从而得到高分辨人脸图像，上述两个模型分开训练，可以有效的降低使用高分辨人脸图像训练条件对抗生成网络的难度，同时因为超分辨网络是基于已有低分辨网络的图像内容，只是在细节上进行增强和扩大图像尺度的操作，而直接生成高分辨图片，则需要完全重新生成所有像素点，所以本发明提出的方法的好处在于，不仅降低了使用高分辨率图像进行生成式网络训练的时候耗时好资源且效果不佳的问题，而且更重要的是可以提高生成式模型做前向计算时的速度。基于深度学习的超分辨率网络模型的发展有两种方向，第一种是直接重构的方法，即由低分辨图像经过一系列卷积和反卷积操作之后直接得到高分辨图像；第二种是渐进的重构高分率网络图像的方法，即先通过低分辨率图像重构得到一个较高分辨率的图像，然后通过这个较高分辨率的图像，再得到高分辨率的图像，目前直接重构的方法和渐进式的方法都取得很不错的效果但渐进式的方法能够适应更多的应用场景。综上所述，发明人提出以pix2pix模型作为生成式模型，根据嘴唇残缺低分辨率人脸图像生成完整低分辨率人脸图像，然后使用LapSRN模型(一种渐进式超分辨网络模型)实现将低分率人脸图像重构得到高分辨人脸图像。

发明内容