[发明专利]一种基于先验算法的人脸表情图像遮挡修复方法

权利要求书

1.一种基于先验算法的人脸表情图像遮挡修复方法，其特征在于，包括以下步骤：

S1、原始人脸图像处理：从人脸表情数据库中采集无遮挡的人脸图像作为原始人脸图像数据集，并使原始人脸图像数据集中包括不同表情的人脸图像；将原始人脸数据集中的人脸图像进行裁剪处理，以使每张人脸图像只保留人脸面部的区域，得到无遮挡人脸面部区域数据集；

S2、模型训练：将无遮挡人脸面部区域数据集输入生成式对抗网络中训练生成无遮挡人脸图像数据集；

S3、遮挡人脸表情图像修复：将有遮挡的人脸表情图像输入步骤S2的生成式对抗网络中进行修复还原，生成修复后有遮挡人脸图像；

S4、面部运动单元采集：包括常规面部运动单元采集和修复后有遮挡人脸图像的面部运动单元采集，具体方法为：

将所述人脸图像数据集中不同的人脸表情通过人工标记的方式赋予不同标签作为表情分类，然后将属于同一表情分类下人脸图像数据集中的图像进行面部运动单元提取，得到每一表情分类下的面部运动单元；其中，面部运动单元为具有多组AU向量的数据集，所述AU向量为一维二进制数据向量；多个表情分类下的面部运动单元组成该人脸图像数据集的分类面部运动单元；其中，人脸图像数据集包括无遮挡人脸图像数据集和修复后有遮挡人脸图像，分别得到无遮挡人脸图像分类面部运动单元和修复后有遮挡人脸分类面部运动单元，利用先验算法在相同支持度下分别对无遮挡人脸图像分类面部运动单元和修复后有遮挡人脸分类面部运动单元进行数据分析得到无遮挡常规面部运动单元和有遮挡常规面部运动单元；

S5、修复图像表情判断：

S51、获取无遮挡常规面部表情置信度集：对无遮挡常规面部运动单元中每两组AU向量AUX,AUY，计算AUX对于AU向量AUY的置信度c(AUX→AUY)作为无遮挡向量间常规置信度，并将所有无遮挡向量间常规置信度c(AUX→AUY)保存为无遮挡常规面部表情置信度集，c(AUX→AUY)的计算方法为：

其中，X，Y为自然数，σ(AUX)表示向量AUX在无遮挡常规面部运动单元中出现的次数，σ(AUX∪AUY)表示向量AUX和AUY同时在无遮挡常规面部运动单元中出现的次数；

S52、计算有遮挡向量间常规置信度：对所述有遮挡常规面部运动单元中每两组AU向量AUX′，AUY′，计算AUX′对于AUY′的置信度作为有遮挡向量间常规置信度c(AUX′→AUY′)；其中，X′＝X,Y′＝Y；

S53、表情修复准确性判断：将c(AUX′→AUY′)的值与对应的c(AUX→AUY)的值相比较，若c(AUX′→AUY′)大于c(AUX→AUY)的值，则图像表情修复准确，直接输出修复后有遮挡人脸图像；

若c(AUX′→AUY′)小于c(AUX→AUY)的值，则图像表情修复不准确，将修复后有遮挡人脸图像作为二次修复图像；

S6、对二次修复图像作仿真变换：包括以下步骤：

S61、首先从人脸表情数据库中采集包括中性人脸图像的数据集，并通过ASM算法得到组成每张人脸图像的关键特征点坐标，并标记于二次修复图像上；

S62、利用径向基神经网络将所述关键特征点的坐标值进行训练，得到表情仿真变换模型；

S63、在二次修复图像中以人脸的脸颊宽度所在直线作为横轴，以鼻梁所在直线为纵轴建立直角坐标系，将所述关键特征点的坐标值变换为该直角坐标系下的变换坐标值；

S64、将每个关键特征点的变换坐标值输入所述表情仿真变换模型中进行训练得到每个变换坐标值的仿真特征点坐标，并将所述仿真特征点坐标经归一化处理规整为标准坐标形式得到仿真特征点标准坐标，最后通过所述仿真特征点标准坐标利用图像处理技术输出修复后人脸图像。