[发明专利]基于CNN和双向VLAD的掌纹图像识别方法

说明书

本发明涉及基于CNN和双向VLAD的掌纹图像识别方法，包括如下步骤：(1)基于预训练的网络来生成掌纹图像卷积特征，选择中间一层形成三维特征图谱；(2)以三维特征图谱中表征图像同一位置的特征元素来构建纵向局部特征向量，进行编码获得纵向局部特征聚合描述向量；(3)以三维特征图谱中表征整幅掌纹图像的特征矩阵按行拉伸成向量作为横向局部特征向量，进行编码获得横向局部特征聚合描述向量；(4)采用余弦距离对两类待识别特征与特征模板分别进行纵向和横向匹配计算，并在分数层对纵向和横向匹配分数进行融合。本发明结合使用掌纹的全局和局部信息，提高了识别精度，具有较好的鲁棒性。

技术领域

本发明涉及掌纹图像识别领域，具体涉及一种基于CNN和双向VLAD的掌纹图像识别方法。

背景技术

在生物特征识别技术中，掌纹识别技术具有较高的识别精度。掌纹具有唯一性和基本终生不变性，具有丰富的可用于身份识别的信息，并且采集掌纹的设备价格低廉，掌纹识别技术也在政府、银行、社会福利保障、电子商务和安全防卫等领域得到成功应用，因此对掌纹识别技术方法的研究具有重要意义。

对于掌纹识别技术来说，掌纹图像特征提取的效果在很大程度上决定了掌纹识别的精度，因此掌纹图像特征提取被认为是掌纹识别的关键步骤，成为掌纹识别技术发展中的重点研究领域之一。现有的掌纹特征提取方法主要分为基于纹理的特征提取方法、基于结构的特征提取方法、基于子空间的特征提取方法和基于统计的特征提取方法，这些方法从不同角度来实现掌纹图像可识别特征的提取，对于掌纹图像识别技术的发展起到重要的促进作用。近年来，卷积神经网络(CNN)作为一种基于多层监督学习的人工神经网络，具有较好的容错性、自适应性和自学习能力，有效改善了传统方法存在的提取特征不充分问题，被广泛应用于图像分类、物体检测与识别和目标跟踪等领域。此外，将CNN网络还可以作为基础特征提取器，并与其他特征提取方法合理相结合，则有可能获得更有效的图像特征表示，从而进一步提高分类、识别或检测方法的性能。

发明内容

本发明的目的在于基于卷积神经网络(CNN)和双向局部特征聚合描述向量(BiVLAD)相结合，提供一种可以获取更全面、完整的特征信息、具有更高的识别精度以及更好的鲁棒性的掌纹图像识别方法。

为解决上述技术问题，本发明提供技术方案如下：采用深度学习法预训练CNN网络，通过预训练CNN网络提取掌纹图像卷积特征，然后选择具有较好判别能力的卷积层特征与VLAD方法相结合，从两个方向充分应用卷积特征中表征的掌纹全局信息和局部信息，并使用分数层上的融合方法实现双向特征信息的互补，从而获得更高的识别精度，具体包括以下步骤：

步骤1：采用深度学习法预训练CNN网络，运用预训练CNN网络对给定数据库的一张掌纹图像进行特征提取，将其中的一层掌纹卷积特征取出形成一个三维特征图谱；

步骤2：基于步骤1，以三维特征图谱中表征图像同一位置的特征元素来构建纵向局部特征向量，并利用特征码本对这张图像的所有纵向CNN特征进行VLAD编码，获得纵向局部特征聚合描述向量；其中，特征码本是基于一定数量图像的纵向局部特征向量进行k-means聚类训练得到的；

步骤3：基于步骤1，以三维特征图谱中表征整幅掌纹图像的特征矩阵按行拉伸成向量作为横向局部特征向量，并利用特征码本对这张图像的所有横向CNN特征进行VLAD编码，获得横向局部特征聚合描述向量；其中，特征码本是基于一定数量图像的横向局部特征向量进行k-means聚类训练得到的；

步骤4：基于步骤2和3，采用余弦距离对纵向或横向局部特征聚合描述向量与特征模板分别进行纵向和横向匹配计算，可计算获得纵向匹配分数和横向匹配分数，然后在分数层对纵向和横向匹配分数进行融合。

其中步骤1包括以下具体步骤：

(1)采用深度学习法预训练CNN网络，对于一张大小为n×n的掌纹图像，作为已训练好的CNN网络的输入，对其进行特征提取。