[发明专利]一种基于先验算法的人脸表情图像遮挡修复方法

说明书

一种基于先验算法的人脸表情图像遮挡修复方法，包括以下步骤：S1、原始人脸图像处理；S2、模型训练；S3、遮挡人脸表情图像修复；S4、面部运动单元采集；S5、修复图像的表情判断；S6、对二次修复图像作仿真变换。本发明能够在神经网络修复之后，对于人脸表情图像进行判断，判断其修复效果是否合理、是否准确；该方法大大的提高了修复效果的准确性，符合人脸面部肌肉运动的规律，更加真实；对于人脸表情图像在仿真变换时，可通过调节幅度参数对于变换坐标参数进行修改，关键特征点的坐标也随之变换，即嘴角张开程度，便可以得到表情变换幅度。加大了操作的准确性。

技术领域

本发明涉及人脸表情修复技术领域，尤其是一种基于先验算法的人脸表情图像遮挡修复方法。

背景技术

近年来，随着信息技术的飞速发展以及计算机的广泛应用，人脸表情遮挡修复及其识别技术在人机交互、公共安全监控、日常监护、心理分析、娱乐产业等都有更加广泛的应用。人脸识别技术面临大量丰富的应用需求，同时也面对不同的挑战，如光照、遮挡、姿态、环境和角度等因素。遮挡在众多影响人脸识别性能的因素中非常重要，也是不可避免的一个因素，故需要一个高效准确的方法对于人脸遮挡表情图像进行修复。

研究人脸遮挡表情图像的修复，首先要了解什么是图像修复。图像修复属于图像复原研究领域中一个重要的内容，它主要的目标任务是根据破损图像仅存的信息去复原已丢失的信息。广泛用于复原旧照片中因年代久远而丢失的信息、带有水印信息的视频文字去除以及视频错误信息的隐藏等。简单的描述就是，图像修复最终目的是将缺损的图像复还原，是在缺损区域进行有意义的信息填充过程，使其变得更加完整化，不再是有残缺的，并且能够让观察者发现不到图像有修复过的痕迹。

而人脸遮挡表情修复通常是指一张人脸图像中存在局部破损或空洞，需要利用已有边缘信息来将这些破损区域进行修复或填充工作。目前针对局部遮挡人脸表情识别修复，通常采用传统方法(即非深度学习的方法)，其思路总体上分为舍弃法和填补法两种。舍弃法是通过一些算法将遮挡部分的信息简化或者丢弃，然后根据未遮挡部位进行表情识别修复。通常这些修复方法并不能达到精准修复，随着越来越多的神经网络的提出，人脸表情修复的方法也越来越多。以往的GAN网络、PCA+SVM方法、稀疏表示方法(Sparserepresentation based classification，SRC)以及CNN方法，它们在局部遮挡问题上都会导致表情修复的准确率不够理想、不够真实，使其在人脸修复阶段的表情不是很真实连贯。这也将会导致在人脸识别领域效果不佳，识别准确率下降。

对于上述方法的实现中，仅仅是对于遮挡人脸的表情进行修复，未加入任何修复之后的判断算法，由于只是依靠网络模型中的鉴别器去纠正图像的准确性，并没有对于修复之后的图像进行判断鉴别，这就使得修复的表情在某些程度上并不符合面部肌肉运动的规律，使得修复效果不佳。同时，在表情还原过程中也会与原始表情存在一些误差，最终也会导致一些表情的表达并不符合原始表情图像的表达。

发明内容

本发明的目的是提供一种修复准确率高、可对已修复图像进行判断及修正、图像修复表情真实连贯的基于先验算法的人脸表情图像遮挡修复方法。

本发明解决现有技术问题所采用的技术方案：一种基于先验算法的人脸表情图像遮挡修复方法，包括以下步骤：

S1、原始人脸图像处理：从人脸表情数据库中采集无遮挡的人脸图像作为原始人脸图像数据集，并使原始人脸图像数据集中包括不同表情的人脸图像；将原始人脸数据集中的人脸图像进行裁剪处理，以使每张人脸图像只保留人脸面部的区域，得到无遮挡人脸面部区域数据集；

S2、模型训练：将无遮挡人脸面部区域数据集输入生成式对抗网络中训练生成无遮挡人脸图像数据集；

S3、遮挡人脸表情图像修复：将有遮挡的人脸表情图像输入步骤S2的生成式对抗网络中进行修复还原，生成修复后有遮挡人脸图像；