[发明专利]基于纹理约束和泊松融合的生成对抗指静脉图像修复方法

说明书

本发明公开了一种基于纹理约束和泊松融合的生成对抗指静脉图像修复方法。本发明步骤如下：S1、利用初步修复卷积网络对受损指静脉图像进行初步修复，得到模糊指静脉图像；S2、基于泊松融合的图像重建，在重建中对指静脉受损区域与周围实际像素边界进行融合获得指静脉图像Ⅰ；S3、基于注意力机制的精确修复卷积网络对步骤S2获取的指静脉图像Ⅰ进行精确修复得到指静脉图像Ⅱ；S4、对步骤S3获取的指静脉图像Ⅱ再次进行图像重建，获得重建后指静脉图像Ⅲ；S5、计算指静脉图像Ⅲ的生成损失；S6、对步骤S5得到的损失进行结合，得到最终的损失函数；S7、判别器网络对重建后指静脉图像Ⅲ进行判决。本发明图像质量和识别率均有提升。

技术领域

本发明属于生物特征识别及信息安全技术领域，特别涉及到手指静脉图像预处理领域，提供一种基于纹理约束和泊松融合的生成对抗指静脉图像修复方法。

背景技术

实际手指静脉认证中容易出现由于指静脉采集设备镜面上存在脏污以及用户手指皮肤上沾染脏污时造成手指静脉图像受损的情况，导致采集到的图像出现了部分信息缺失，从而影响手指静脉特征的完整性导致匹配精度降低的情况。因此，对指静脉图像受损区域进行修复是指静脉图像处理中关键的步骤之一。

现有的图像修复工作主要分为基于传统低层次特征的修补算法^[1]和基于深度学习的高层次特征的修补算法^[2]。传统的修补算法可以细分为基于非纹理修复^[3]和基于纹理修复的算法^[4]。在非纹理修复中，比较典型的代表算法是Bertalmio等人提出的基于偏微分方程的 BSCB模型^[7]和Chan等人提出的CDD模型^[8]，其中BSCB模型利用受损区域邻域已知的低层次灰度信息来进行内容的填充，但该方法只利用灰度信息来进行修复，效果不佳；CDD模型在TV模型的基础上引入了曲率驱动，在连通上实现了更好的效果，但是其算法收敛性较差，曲率的计算也大大增加了算法的复杂度。基于纹理合成的图像修复算法利用图像块之间的纹理相似性对破损区域进行填充，其中最经典的是Criminisi等人提出的图像修复算法^[8]，从图像完好区域中寻找与待修复区域最匹配的像素块，然后将其填充到受损区域，但是该方法在实际修复过程中容易出现马赛克效应和纹理混乱现象。Yanghang 等人^[9]提出一种基于Gabor纹理特征的手指静脉图像修复算法，利用 Gabor纹理约束，选择纹理相似度高的信息对受损区域进行修复，但是修复后的指静脉图像容易出现边缘信息连接不连贯的情况，并且在受损区域较大的情况下，修复之后图像结构出现了模糊的情况。上述基于灰度、纹理约束的传统低层次特征约束的修补算法，针对指静脉这种边缘信息较弱的图像，在修复过程中利用的信息不够全面，提取到的低层次特征信息不够丰富，所以最终修复效果不佳。