[发明专利]基于多引导图和自适应特征融合的人脸图像复原系统

权利要求书

1.基于多引导图和自适应特征融合的人脸图像复原系统，其特征在于所述系统包括最优引导图选择模块、最优引导图特征提取模块、退化图特征提取模块、退化图人脸关键点特征提取模块、最优引导图特征姿态纠正模块、光照分布纠正模块、逐级自适应特征融合模块和复原结果重建模块，

所述最优引导图选择模块通过计算退化图和引导图之间人脸关键点的优化加权仿射变换距离，在多个引导图中选择出对于退化图具有最相似表情和姿态的最优引导图；

所述最优引导图特征提取模块用于提取最优引导图的特征；

所述退化图特征提取模块用于提取退化图的特征；

所述退化图人脸关键点特征提取模块用于根据退化图的关键点获得人脸面部关键点特征，其中，退化图的关键点通过人脸关键点检测算法对退化图进行关键点检测得到；

所述最优引导图特征姿态纠正模块通过计算人脸面部关键点特征以及最优引导图关键点之间的移动最小二乘获得形变向量，将最优引导图形变到退化图姿态和表情上，获得形变后最优引导图，其中，最优引导图关键点通过人脸关键点检测算法对最优引导图进行关键点检测得到；

所述光照分布纠正模块用于将形变后的最优引导图的特征与退化图的特征进行自适应的实例归一化操作，获得最终引导图的特征；

所述逐级自适应特征融合模块用于将最终引导图的特征动态自适应且逐级的加入到退化图的特征中，获得增强后的退化图的特征；

所述复原结果重建模块用于将增强后的退化图的特征经过多层神经网络输出复原人脸图；

所述最优引导图特征提取模块包含M1个空洞卷积残差单元，所述退化图特征提取模块包含M2个空洞卷积残差单元、所述退化图人脸关键点特征提取模块包含M3个无偏差卷积层，所述逐级自适应特征融合模块包含M4个自适应特征融合单元、所述复原结果重建模块中多层神经网络为M5个空洞卷积残差单元，其中，M1、M2、M3、M4、M5均大于或等于1；

所述自适应特征融合单元为4个，包括自适应特征融合单元P1、P2、P3和P4，其执行如下步骤：

输入最终引导图特征、退化图特征、退化图人脸关键点特征，

P1特征融合时：

卷积层C19用于对退化图特征进行第一次卷积操作，进一步特征提取；

卷积层C20用于对最终引导图特征进行第二次卷积操作，进一步特征提取；

卷积层C21用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；

串联层T1将卷积层C19、C20和C21的输出进行特征串联；

卷积层C22对T1的输出进行第四次卷积操作、激活操作；

卷积层C23对C22的输出进行第五次卷积操作、激活操作；

卷积层C24对退化图特征进行第六次卷积、激活操作；

卷积层C25对C24的输出进行第七次卷积、激活操作；

卷积层C26对最终引导图特征进行第八次卷积、激活操作；

卷积层C27对C26的输出进行第九次卷积、激活操作；

残差层J1对C25层的输出与C27层的输出进行相减操作；

尺度层将J1的输出与C23层的输出进行相乘操作；

复原层F1将尺度层J1的输出与退化图特征经过两层128个3*3，步长为1的卷积操作后特征进行相加，输出第P1级增强特征；

第一到第三卷积操作均为64个1*1，步长为1的卷积操作；

第四到七卷积操作为128个3*3，步长为1的卷积操作；

第八到九卷积操作为128个1*1，步长为1的卷积操作；

P2特征融合时：

卷积层C28用于对P1增强后退化图特征进行第一次卷积操作，进一步特征提取；

卷积层C29用于对最终引导图特征进行第二次卷积操作，进一步特征提取；

卷积层C30用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；

串联层T2将卷积层C28、C29和C30的输出进行特征串联；

卷积层C31对T2的输出进行第四次卷积操作、激活操作；

卷积层C32对C31的输出进行第五次卷积操作、激活操作；

卷积层C33对退化图特征进行第六次卷积、激活操作；

卷积层C34对C33的输出进行第七次卷积、激活操作；

卷积层C35对P1增强后退化图特征进行第八次卷积、激活操作；

卷积层C36对C35的输出进行第九次卷积、激活操作；

残差层J2对C34层的输出与C36层的输出进行相减操作；

尺度层将J2的输出与C32层的输出进行相乘操作；

复原层F2将尺度层J2的输出与退化图特征经过两层128个3*3，步长为1的卷积操作后特征进行相加，输出第P2级增强特征；

第一到第三卷积操作均为64个1*1，步长为1的卷积操作；

第四到七卷积操作为128个3*3，步长为1的卷积操作；

第八到九卷积操作为128个1*1，步长为1的卷积操作；

P3特征融合时：

卷积层C37用于对P2增强后退化图特征进行第一次卷积操作，进一步特征提取；

卷积层C38用于对最终引导图特征进行第二次卷积操作，进一步特征提取；

卷积层C39用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；

串联层T3将卷积层C37、C38和C39的输出进行特征串联；

卷积层C40对T3的输出进行第四次卷积操作、激活操作；

卷积层C41对C40的输出进行第五次卷积操作、激活操作；

卷积层C42对退化图特征进行第六次卷积、激活操作；

卷积层C43对C44的输出进行第七次卷积、激活操作；

卷积层C45对P1增强后退化图特征进行第八次卷积、激活操作；

卷积层C46对C45的输出进行第九次卷积、激活操作；

残差层J3对C43层的输出与C46层的输出进行相减操作；

尺度层将J3的输出与C41层的输出进行相乘操作；

复原层F3将尺度层J3的输出与退化图特征经过两层128个3*3，步长为1的卷积操作后特征进行相加，输出第P3级增强特征；

第一到第三卷积操作均为64个1*1，步长为1的卷积操作；

第四到七卷积操作为128个3*3，步长为1的卷积操作；

第八到九卷积操作为128个1*1，步长为1的卷积操作；

P4特征融合时：

卷积层C47用于对P3增强后退化图特征进行第一次卷积操作，进一步特征提取；

卷积层C48用于对最终引导图特征进行第二次卷积操作，进一步特征提取；

卷积层C49用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；

串联层T4将卷积层C47、C48和C49的输出进行特征串联；

卷积层C50对T4的输出进行第四次卷积操作、激活操作；

卷积层C51对C50的输出进行第五次卷积操作、激活操作；

卷积层C52对退化图特征进行第六次卷积、激活操作；

卷积层C53对C32的输出进行第七次卷积、激活操作；

卷积层C54对P1增强后退化图特征进行第八次卷积、激活操作；

卷积层C55对C54的输出进行第九次卷积、激活操作；

残差层J4对C53层的输出与C55层的输出进行相减操作；

尺度层将J4的输出与C51层的输出进行相乘操作；

复原层F4将尺度层J4的输出与退化图特征经过两层128个3*3，步长为1的卷积操作后特征进行相加，输出第P4级增强特征；

第一到第三卷积操作均为64个1*1，步长为1的卷积操作；

第四到七卷积操作为128个3*3，步长为1的卷积操作；

第八到九卷积操作为128个1*1，步长为1的卷积操作；

最后输出多级自适应特征融合后的增强退化图特征；

所述最优引导图特征姿态纠正模块执行如下步骤：

输入最优引导图的特征、最优引导图人脸关键点、退化图人脸关键点；

定义最优引导图特征为F^g，最优引导图的人脸关键点为L^g，退化图的人脸关键点为L^d；利用移动的最小二乘形变方法，每个点的仿射变换矩阵为：

其中：p为给定的关键点位置，为L^d的增广矩阵，

根据仿射变换矩阵，通过双线性插值方式，获得的形变最优引导图特征为：

为4近邻点，输出为形变后的最优引导图的特征。