[发明专利]一种基于多输入卷积神经网络的高分辨率掌纹识别的方法

权利要求书

1.一种基于多输入卷积神经网络的高分辨掌纹识别的方法，其特征在于，包括如下步骤：

1)对高分辨率掌纹ROI进行定义，包括中心ROI区域和边缘ROI区域(包括大鱼际ROI区域，小鱼际ROI区域，指间区ROI区域，简称ROI1,ROI2,ROI3)的裁剪；因此，一只手掌数据共可以裁剪出4块ROI区域图像，作为用于识别的数据；

2)设计高分辨率掌纹识别的网络模型，用步骤1)裁剪的ROI样本,并对其进行数据增广以此生成更多的掌纹ROI数据来进行训练；

3)运行多输入卷积神经网络模型并输出结果。

2.根据权利要求1所述的基于多输入卷积神经网络的高分辨掌纹识别的方法，其特征在于，所述步骤1)包括：

(11)掌纹ROI区域样本的获取采用自适应ROI裁剪算法；首先进行掌纹两谷点(中指与食指,无名指和小拇指之间)的坐标提取，然后基于两谷点来进行二维直角坐标系的建立，基于两谷点之间的连线来作为X轴，并垂直此线建立Y轴，无名指和小拇指之间的谷点坐标作为原点；

(12)对于中心ROI的裁剪，根据两谷点之间的距离d，选取了(-0.2d，0.2d)作为截取区域的左上角坐标，,然后分别沿着平行X，Y坐标轴正方向截取1.4d的长度；对于其它边缘ROI，根据对掌纹数据的统计分析得到相应的截取区域大小，针对ROI1、ROI2、ROI3，分别选取坐标系中的(0.7d，1.2d)、(-0.4d，0.7d)、(-0.25d，0.1d)作为待截取区域的左上角坐标位置，然后沿着平行X坐标轴正方向分别截取0.6d、0.5d、d的长度，Y坐标轴正方向分别截取0.6d、0.9d、0.4d的长度；

(13)因此中心ROI区域大小截取为1.4d*1.4d,ROI1、ROI2、ROI3大小分别截取为0.6d*0.6d,0.5d*0.9d,d*0.4d，然后对图片尺寸大小进行归一化，最终中心ROI尺寸为512*512，ROI1、ROI2、ROI3尺寸分别为512*512，900*300，900*300；以此作为训练网络的样本。

3.根据权利要求1或2所述的基于多输入卷积神经网络的高分辨掌纹识别的方法，其特征在于，所述步骤2)包括：

(21)设计构建一个多输入卷积神经网络模型，设定训练参数和损失函数，使其能够同时实现对掌纹图像的中心区域和边缘区域特征的提取以及识别，该多输入卷积神经网络包括特征提取部分和特征融合部分；

(211)特征提取部分对高分辨率掌纹ROI进行下采样操作，由于一组掌纹ROI数据大小差距问题，因此特征提取部分分为三条路径，分别将中心ROI、ROI2和ROI3、ROI1输入；

首先针对中心ROI图像特征提取这条路径，包括7层，每一层由两个卷积模块和一层池化层组成，其中每个卷积模块的卷积层的卷积核大小为3*3，数量为16个，步幅为1；池化层步幅为2；输入的中心ROI图像依次经过第一卷积模块的第一卷积层、BN层以及ReLU激活函数；再依次经过第二卷积模块的第一卷积层、BN层以及ReLU激活函数处理，最后经过池化层下采样处理；后续处理与上述相同，再进行6次先两次卷积后池化，其对应的卷积模块的卷积核大小皆为3*3，数量分别为32个，64个，128个，256个，512个，512个；将大小为512×512的中心ROI图像输入，依次经过第一层到第七层，输出的特征大小为4*4*512；

对于边缘ROI2,ROI3特征提取路径，和前面中心ROI特征提取路径相似，但由于图片尺寸相对较小，所以少了一层卷积池化步骤，包括6层，每层对应的卷积核数量分别为32个，64个，128个，256个，512个，512个；由于4块ROI尺寸相差太大，为了保证提取的特征能够更好更方便地融合，所以在进行特征提取过程中对大小为900*300的ROI2、ROI3图像输入时，进行了切片工作；将图像切成大小为300×300的三份，然后依次进行输入；300×300的图像输入，依次经过第一层到第六层，输出的特征大小为4*4*512；

而ROI1特征提取路径，和中心ROI特征提取路径相同，将大小为512×512的ROI1图像输入，依次经过第一层到第七层，输出的特征大小为4*4*512；

(212)特征融合部分将手掌的边缘ROI特征和中心ROI特征进行融合；在上述特征提取过程中，中心ROI、ROI1和切片后的ROI2、ROI3最后输出的特征大小皆为4*4*512，保持了一致，然后将三条路径输出的特征进行级联操作，进行特征层融合；

(22)网络训练部分，共输入三份数据，分别为锚，正样本和负样本，用多输入卷积神经网络对此三份数据进行特征提取，因此它们的参数是共享的；网络提取的特征，之后再经过两个卷积模块和一层池化层操作，其中每个卷积模块的卷积层的卷积核大小为3*3，数量为1024个，步幅为1；池化层步幅为2；最后进行自适应平均池化形成1024维的特征向量，再使用卡方距离(Chi-square Distance)计算锚和正样本以及锚和负样本的距离，并把这两个距离送入损失函数进行计算；之后，使用Adam Optimizer优化器进行优化迭代，迭代多次后得到最优解；

在上述训练过程中，多输入卷积神经网络损失函数为：

Loss＝max(d(a,p)-d(a,n)+margin,0) (1)

其中a表示锚，p表示和a相同类别的正样本，n表示和a不同类别的负样本，margin表示一常量，设为0.2，d(a,n)表示锚a与负样本n之间的距离；最小化Loss的目标是：使得d(a,p)接近0，d(a,n)大于d(a,p)+margin。

4.根据权利要求1或2所述的基于多输入卷积神经网络的高分辨掌纹识别的方法，其特征在于，所述步骤3)包括：

运行网络模型，输入测试掌纹数据，用训练好的网络模型对此测试数据和数据库中所有的参考掌纹数据进行卡方距离的计算，找到距离值最小的参考掌纹图像，如果该距离小于设定的阈值0.5，则判定为同一类；反之，没有与测试掌纹图像相同的类别。