[发明专利]基于纹理约束和泊松融合的生成对抗指静脉图像修复方法

权利要求书

1.基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，其特征在于包括以下步骤：

S1、利用初步修复卷积网络对受损指静脉图像进行初步修复，得到模糊指静脉图像；

S2、基于泊松融合的图像重建，基于泊松融合算法的重建函数，在重建过程中对指静脉受损区域与周围实际像素边界进行融合，获得指静脉图像Ⅰ；

S3、基于注意力机制的精确修复卷积网络对步骤S2获取的指静脉图像Ⅰ进行精确修复，在修复过程中利用上下文的情况，得到精确修复后的指静脉图像Ⅱ；

S4、对步骤S3获取的指静脉图像Ⅱ再次进行基于泊松融合的图像重建，获得重建后指静脉图像Ⅲ；

S5、计算指静脉图像Ⅲ的生成损失；

利用均方误差计算NBP纹理损失，利用两个WGAN-GP计算对抗损失，利用L1范式计算重建损失；

S6、对步骤S5得到的损失进行结合，得到最终的损失函数；

S7、判别器网络对重建后指静脉图像Ⅲ进行判决；得到重建后指静脉图像Ⅲ的局部WGAN-GP判别器损失和全局WGAN-GP判别器损失之和作为最终的判别器损失。

2.根据权利要求1所述的基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，其特征在于步骤S1所述的初步修复卷积网络前半部分为卷积层，后半部分为反卷积层；且在设计卷积层时加入了扩张卷积，并使用不同的扩张速率得到指静脉不同尺度特征信息，对图像进行修复后得到模糊指静脉图像。

3.根据权利要求1或2所述的基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，其特征在于步骤S2具体实现如下：

通过生成网络G(z^*)获取到初步修复后的模糊指静脉图像，z^*表示生成器能够生成原受损指静脉图像最佳伪造图像的矢量值，则(1-M)⊙G(z^*)表示待修补区域经过修复处理后的信息，将其替换对应原受损指静脉图像的受损区域，完成图像重建；通过基于泊松融合算法的重建函数，能在重建过程中更好地对指静脉受损区域与周围实际像素边界进行融合，具体公式如下(1)：

其中，x_{reconstruction}表示重建后的指静脉图像Ⅰ，M为二进制掩码矩阵，y表示原受损指静脉图像；i,j代表像素点位置坐标，G(z^*)表示通过初步修复卷积网络初步修复后的模糊指静脉图像，z^*表示生成器能够生成原受损指静脉图像最佳伪造图像的矢量值，x_i、x_j、G(z^*)_i、G(z^*)_j表示对应坐标像素点；M表示二进制掩码矩阵。

4.根据权利要求3所述的基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，其特征在于通过定义二值掩码矩阵M展示图像重建的过程，M的值包括0和1，0表示丢失的信息，1表示可利用的信息；M与y的元素之间的乘积被称为Hadamard乘积，表示为M⊙y，代表原受损指静脉图像中未受损的区域。

5.根据权利要求4所述的基于纹理约束和泊松融合的生成对抗指静脉图像修复方法，其特征在于步骤S3具体实现如下：

将步骤S2得到的指静脉图像Ⅰ通过一个基于注意力机制的精确修复卷积网络，该网络中加入有注意力机制，使得精确修复后的指静脉图像Ⅱ的受损区域更加自然；其中基于注意力机制的精确修复卷积网络包括两个平行的模块：第一个模块与初步修复卷积网络的前半部分的卷积层相似，利用卷积来想象受损区域的信息；第二个模块中加入有注意力机制，能够使得与修复区域相似的块获得更大的权重，不相似的块的权重弱化；最后，将两个模块的信息进行连接作为最终的结果。