[发明专利]区域注意力机制引导的双路虹膜补全方法及系统

说明书

本发明涉及虹膜补全技术领域，提出了区域注意力机制引导的双路虹膜补全方法及系统，包括Transformer编码器、CNN编码器、融合模块、残差块、区域注意力模块和解码器。通过引入区域注意力机制，使用二值遮挡图像m来约束特征图f₁和特征图f₂两个不同的注意力输出，对于f₂，关注其中对应输入图像的遮挡部分，对于f₁，关注其中对应输入图像的非遮挡部分，使得网络更加关注虹膜图像中遮挡区域的修复，生成高质量虹膜补全图像。

技术领域

本发明涉及虹膜补全技术领域，具体的，涉及区域注意力机制引导的双路虹膜补全方法 及系统。

背景技术

虹膜具有唯一性高、稳定性强、防伪性好、非接触等优势，被认为是最具有潜力的生物 特征识别技术之一。然而，相较于人脸识别，虹膜识别系统对用户的配合度要求高，在图像 采集过程中易受外界因素干扰，如镜框遮挡、光照、眨眼、距离、运动等。这些遮挡的存在， 一方面会导致虹膜信息缺失，直接影响虹膜识别的准确性，另一方面会影响预处理，如定位， 分割的准确性，间接影响虹膜识别的准确性。

然而传统的图像补全方法主要根据已有像素来修复缺失区域，这类方法善于修复内容简 单的图像，不适合纹理复杂的虹膜图像。随着深度学习技术的发展，以变分自编码器和生成 对抗网络为代表的深度生成模型虽然在理论上取得了重大突破，但是由于虹膜独特的“多自 由度”的拓扑结构和“高熵率”的随机纹理，现有基于深度生成模型的虹膜补全方法无法充 分利用全局信息，合成的虹膜图像与原图像缺乏一致性，且仍然存在不切实际的扭曲和噪音 等。

发明内容

本发明提出区域注意力机制引导的双路虹膜补全方法及系统，解决了相关技术中对于虹 膜图像修复效果不好的问题。

本发明的技术方案如下：

区域注意力机制引导的双路虹膜补全方法，包括如下步骤：

S100：输入待修复的虹膜图像；

S200：对所述虹膜图像进行编码，输出特征图f₁，所述特征图f₁包括非遮挡部分的信息；

S300：所述特征图f₁通过多个卷积层和残差层的堆叠，进行残差处理，输出特征图f₂， 所述特征图f₂包括用于生成完整图像的特征信息；

S400：所述特征图f₁和特征图f₂进行区域注意力机制处理，输出处理后的特征图y₁和y₂；

S500：对所述特征图y₁和y₂进行解码，输出补全后的虹膜图像；

S600：全局判别器接收补全后的虹膜图像，输出全局概率矩阵，所述全局概率矩阵中每 个值表示补全后的虹膜图像相应像素块的真假概率值；

S700：局部判别器接收被修复的部分图像，输出局部概率矩阵，所述局部概率矩阵中每 个值表示被修复的部分图像相应像素块的真假概率值。

进一步，所述步骤S400包括，

S401：引入两个存储单元M_k和M_v作为区域注意力机制的键和值，M_k＝Fc(f₂)， M_v＝Fc(f₁)，Fc为全连接层；

S402：计算区域注意力机制的注意力分数