[发明专利]一种基于自监督神经网络的指纹快速检索方法

权利要求书

1.一种基于自监督神经网络的指纹快速检索方法，其特征在于，包括如下步骤：

步骤1，构建指纹特征提取器模型，然后对其在ImageNet数据集上进行预训练；所述指纹特征提取器模型的主体采用线性投射层加Transformer编码器的结构，将Transformer编码器第一个位置的输出作为全连接层分类器的输入；预训练时，将ImageNet数据集中的每一张图片切割成图像块，当作时间序列输入至线性投射层，然后根据全连接层分类器的输出类别与图片的真实类别计算损失，更新模型参数；

步骤2，将步骤1中预训练过的指纹特征提取器模型迁移到指纹图片上，用自监督学习的方式在指纹图片上进行再次训练，训练时同样将数据集中的每一张指纹图片切割成图像块，当作时间序列输入至线性投射层；

步骤3，构建指纹图片重构器模型，然后与步骤2中自监督学习得到的指纹特征提取器模型相连接，利用指纹重构任务使指纹特征提取器模型对指纹特征的抽取能力进一步提升；

步骤4，用步骤3中指纹图片重构任务所训练得到的指纹特征提取器模型，对指纹库中的指纹图片逐一进行特征提取，用提取的特征向量建立指纹索引库；

步骤5，用查询指纹在步骤4中建立的指纹索引库进行快速检索，得到候选指纹序列。

2.根据权利要求1所述基于自监督神经网络的指纹快速检索方法，其特征在于，所述步骤1中，预训练时，收集整理ImageNet上带有类别标签的图片数据集；将ImageNet中的每一张图片切割为n张16×16像素的图像块，按照从上到下和从左到右的顺序排序，将这n个图像块以序列形式输入线性投射层，输出n个token向量；在这n个token之前加入特殊字符cls的token，将共计n+1个token输入至Transformer解码器；将Transformer在cls位置的输出作为全连接层分类器的输入，该输入代表了整个图片的语义表达。

3.根据权利要求1所述基于自监督神经网络的指纹快速检索方法，其特征在于，所述步骤2中，自监督学习有两个任务：

a、从切割好的指纹图片中随机选择一个图像块，对该图像块进行随机旋转，并记录旋转的角度，然后让指纹特征提取器模型预测该图像块的旋转角度；

b、从切割好的指纹图片中随机选择一个图像块，并将该图像块遮盖，然后让指纹特征提取器模型根据指纹图片的其他区域去预测生成该图像块。

4.根据权利要求3所述基于自监督神经网络的指纹快速检索方法，其特征在于，根据自监督学习的任务a，对指纹图片进行处理，随机选中指纹图片中的一个窗口区域并将其随机旋转一定角度，生成旋转角度的标签；将得到的每个指纹图片切割为n张16×16像素图像块；将这n个图像块按照从上到下和从左到右的顺序排序，将排序后的n个图像块序列输入线性投射层，输出n个token向量；在这n个token之前加入特殊字符rot的token代表旋转角度，将共计n+1个token输入Transformer解码器；将Transformer的输出中rot位置对应的输出角度与生成的旋转角度的标签计算损失，然后反向传播更新参数；

根据自监督学习的任务b，对指纹图片进行处理，将每个原始指纹图片切割为n张16×16像素图像块；将这n个图像块按照从上到下和从左到右的顺序排序，将排序后的n个图像块序列输入线性投射层，输出n个token向量；在这n个token之前加入特殊字符cov的token代表当前任务已经切换为了旋转预测，从这n个token中随机选出一个用mask字符代替，并将该位置的图像块作为标签，然后将共计n+1个token输入Transformer解码器；将Transformer的输出中mask位置对应的输出与得到的标签计算损失，然后反向传播更新参数。

5.根据权利要求1所述基于自监督神经网络的指纹快速检索方法，其特征在于，所述步骤3中，指纹重构任务是将指纹图片切割为图像块，当作时间序列输入至指纹特征提取器模型中，根据指纹特征提取器模型所提取的特征向量，指纹图片重构器模型会输出一个图像，计算该图像与原始指纹图片的结构相似性SSIM，判断其相似性，然后更新模型参数。