[发明专利]一种基于深度学习的人脸超分辨率重建方法

摘要

本发明公开了一种基于深度学习的人脸超分辨率重建方法，其目的在于利用深度学习技术对低分辨率人脸数据进行训练得到低分辨率人脸到高分辨率人脸之间的映射函数，其技术关键在于（1）对训练人脸数据集进行关键点提取；（2）根据提取的关键点计算人脸角度并筛选出比较正的人脸图像；（3）对比较正的人脸图像进行校正；（4）将校正的人脸图像以左眉毛、左眼、右眉毛、右眼、鼻子和嘴巴进行分割后分别训练；（5）把经过超分辨率处理后的眉毛、眼睛、鼻子和嘴巴图像与经过超分辨率处理后面部图像进行结合得到最终的超分辨率人脸图像。本发明在不改变成像系统硬件设备的前提下，有效提高所获取的人脸图像质量。

主权项

一种基于深度学习的人脸超分辨率重建方法，其特征在于包括如下步骤：步骤1：利用多任务卷积神经网络(Multi‑task convolutional neural networks，MTCNN)算法提取人脸5个关键点，所述MTCNN算法由三个网络结构P‑Net,R‑Net,O‑Net组成，其中P‑Net(Propsoal Network)主要获得人脸区域的候选窗口和边框回归向量；R‑Net(Refine Network)在P‑Net的基础上获得更精确的候选窗口；O‑Net(Output Network)在R‑Net基础上进一步提高窗口精确率，同时输出5个关键点坐标，所述5个关键点坐标包括左眼、右眼、鼻尖、左嘴角和右嘴角的坐标；步骤2：使用OpenCV中的solvePnP函数计算二维平面上5个关键点坐标与三维空间上5个关键点坐标之间的平移向量和旋转向量，所述二维平面上的5个关键点坐标由步骤1得到，三维空间上的5个关键点坐标由三维形变模型(3D Morphable Model)得到，根据旋转矩阵计算人脸在x,y,z三个方向上的偏转角度，筛选得到比较正的人脸数据；步骤3：人脸校正，利用步骤1提取的关键点进行人脸几何校正，校正规则是ec_mc_y为48像素，ec_y为40像素，所述ec_mc_y为两个眼睛坐标连接线中点与两个嘴角坐标连接线中点之间的距离，所述ec_y为两个眼睛坐标连线中点与图片上边缘之间的距离，经过校正后的人脸大小为128×128；步骤4：获取训练数据，将步骤3校正后的人脸图像进行高斯模糊处理和缩小处理，处理得到的图像即为训练所需的低分率数据，所述高斯模糊处理是根据二维高斯分布函数计算所得，将高斯函数写成整数模板的形势，模板半径越小，则模糊程度越小，反之则越大；步骤5：设计网络结构，首先对输入的低分率图像使用双三次插值算法进行n倍放大处理，然后针对人脸结构相似的特性将人脸分为左眉毛区域I0、右眉毛区域I1、左眼区域I2、右眼区域I3、鼻子区域I4和嘴巴区域I56个部分，对上述6个部分和面部区域I6分别采用L层的深度神经网络结构，对上述7种图像进行加权相加得到最后的人脸超分辨率图像；步骤6：选定损失函数Loss，评价图片质量一般采用峰值噪声比PSNR,其公式为：PSNR=10·log10(MAXI2MSE)=20·log10(MAXIMSE)---(2)]]>其中，MSE是原图像与处理图像之间的均方误差；MAXI是图像颜色最大值，8位采样点表示为255；Loss=MSE=1W×HΣi=0W-1Σj=0H-1||A(i,j)-a(i,j)||2---(3)]]>W,H表示为图像的宽和高；i,j表示图像像素点的位置；A表示原始高分辨率人脸图像；a表示重建高分辨率人脸图像；步骤7：训练深度神经网络直到神经网络输出层误差达到预设精度要求或者训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型；步骤8：输入任意一张低分辨率图像到训练好的神经网络模型中，神经网络的输出即为人脸各部分重建后的超分辨率图像，经过结合得到最后的超分辨率人脸图像。