[发明专利]一种根据先验信息快速生成高分辨率完整人脸图像的方法

权利要求书

1.一种根据先验信息快速生成高分辨率完整人脸图像的方法，其特征在于：包括如下步骤：

步骤一、收集大量带有音频的高分辨率交谈视频数据，在各类视频网站进行下载并收集带音频的视频；

步骤二、从步骤一收集的带音频的视频中根据视频中人物脸部是否晃动明显，使用开源工具对视频进行处理，提取音频和视频，分别得到音频数据和视频数据；

步骤三、将步骤二中提取到的视频数据按帧切分，输出完整的高分辨率图像；

步骤四、使用开源工具库提取步骤三切分的图像帧中每帧人脸图像的嘴型关键点坐标信息并记录；

步骤五、根据步骤四得到的人脸嘴型关键点坐标信息将其对应的每帧人脸图像的嘴唇部分打上掩膜，并在其上勾勒唇线，得到嘴唇带掩膜的高分辨率人脸图像；

步骤六、将步骤五得到的嘴唇带掩膜的高分辨率人脸图像，使用进行降采样，得到嘴唇带掩膜的低分辨率人脸图像；

步骤七、将步骤三切分得到的完整高分辨率人脸图像使用开源工具进行降采样，得到完整低分辨率人脸图像；

步骤八、将步骤六和步骤七得到的嘴唇带掩膜低分辨率人脸图像和完整的低分辨率人脸图像一一对应起来，组成生成条件对抗网络模型的训练数据集；

步骤九：按照步骤三切分的完整的高分辨率人脸图像与步骤七得到的完整的低分辨率人脸图像之间的对应关系，将两个图像集组织起来，得到用于超分辨率网络模型训练的训练数据集；

步骤十、使用步骤八得到的训练数据集，对条件生成对抗网络模型进行训练，直至模型收敛，得到训练好的条件生成对抗生成器模型；

步骤十一、使用步骤九得到的训练数据集，对超分辨率网络模型进行训练，得到训练好的超分辨率网络模型；

步骤十二、将步骤十得到的训练好的生成对抗网络模型的生成器部分和步骤十一得到的训练好的超分辨率网络模型结合起来，实现由低分辨率嘴唇残缺人脸图像快速生成高分辨率完整人脸图像。

2.根据权利要求1所述的一种根据先验信息快速生成高分辨率完整人脸图像的方法，其特征在于：步骤一中，交谈视频数据中包含音频和视频，且为单一人物的演讲视频。

3.根据权利要求1所述的一种根据先验信息快速生成高分辨率完整人脸图像的方法，其特征在于：步骤一具体为：从公开的视频网站中寻找单一人物的演讲视频，并对寻找到的这个人的所有演讲视频进行挑选，选择演讲内容比较连贯，停顿较少且整个视频中面部前后左右晃动较少的视频作为收集到的数据。

4.根据权利要求1所述的一种根据先验信息快速生成高分辨率完整人脸图像的方法，其特征在于：步骤三具体为：使用步骤二安装的FFMPEG工具，使用其将视频按帧切分的功能，从视频中提取完整高分辨率图像，并按照相应的顺序进行保存。

5.根据权利要求1所述的一种根据先验信息快速生成高分辨率完整人脸图像的方法，其特征在于：步骤四中，优选的开源工具库为DLIB；

步骤五具体为：在步骤四的基础上，基于opencv库实现根据嘴型关键点信息为高分辨率人脸图像的嘴唇部分打上掩膜，勾勒唇线得到嘴唇带掩膜的高分辨率人脸图像。

6.根据权利要求1所述的一种根据先验信息快速生成高分辨率完整人脸图像的方法，其特征在于：步骤八具体为：按照嘴唇带掩膜的低分辨率人脸图像与完整的低分辨率人脸图像之间的对应关系，将两个图像集组织起来，得到用于条件生成对抗网络模型训练的训练数据集。

7.根据权利要求1所述的一种根据先验信息快速生成高分辨率完整人脸图像的方法，其特征在于：步骤十采用有监督的方式对条件生成对抗网络进行训练，以嘴唇带掩膜的低分辨率人脸图像作为输入，输出完整的低分辨率人脸。