[发明专利]一种基于融合局部与全局特征网络的指静脉识别方法

权利要求书

1.一种基于融合局部与全局特征网络的指静脉识别方法，其特征在于包括以下步骤：

S1、构造训练数据集，采集若干个用户手指图像I_basic，作为基础训练集，对基础训练集I_basic进行扩充，经过归一化处理得到训练数据集I_train，具体实现如下：

S1-1：采集若干个用户手指图像I_basic；

S1-2：利用平移、平面旋转、放缩操作对I_basic进行手指姿态扩充，将扩充的图像经过归一化处理得到训练数据集I_train；

S2、设计基于融合局部与全局特征的指静脉特征提取网络；

S3、设计网络损失函数；

S4、训练整个模型，直至迭代训练整个训练集若干次；

S5、将测试集图像输入训练好的模型中提取指静脉特征，采用欧式距离进行1∶1比对识别。

2.根据权利要求1所述的一种基于融合局部与全局特征网络的指静脉识别方法，其特征在于步骤S2所述的设计基于融合局部与全局特征的指静脉特征提取网络，具体实现如下：

S2-1：基于改进残差模块的基础网络

基于改进残差模块的基础网络包含五层结构，第一层由卷积核大小为5*5、步长为1的卷积层；第二到五层均由改进的BasicBlock模块组成，BasicBlock模块均采用卷积核大小为3*3的卷积层，能够更好的提取指静脉图像的空间特征；每层的IR-BasicBlock模块个数依次为3、4、14、3，在每个IR-BasicBlock模块中引入了SENet注意力机制模块，此时每个IR-BasicBlock模块的结构包括两层卷积核大小为3*3卷积层以及SENet，在第五层结构中每个IR-BasicBlock模块设置3*3卷积步长为1，即在第五层结构中图像大小不改变，避免提取的指静脉图像的Feature Map尺寸过小，不利于进行分割提取局部特征；

第一层到第五层的激活函数均替换为Mish激活函数，其定义为：

f(x)＝x*tanh(ln(1+e^x)) (1)

式中，x为Mish激活函数的输入，f(x)为输入x时Mish激活函数的输出；

指静脉图像经过基于改进残差模块的基础网络得到指静脉图像的Feature Map，其大小为C*H*W，C、H、W分别为特征图的通道数、高以及宽；

S2-2：指静脉全局特征提取延伸网络；

将Feature Map通过全局平均池化层得到输出向量并归一化作为全局特征向量，维度大小为C*1*1，如下公式(2)：

F＝GAP(Feature Map)

式中，F表示全局平均池化层得到输出向量；GAP(*)为全局平均池化层，F_global为最终提取的指静脉全局特征向量

S2-3：指静脉局部特征提取延伸网络；

首先将Feature Map从竖直方向分割成四个区域分别为M1，M2，M3，M4，其大小均为C*H*W/4，其次，最大池化层能更多的保留局部静脉纹理信息，利用全局最大池化层提取各局部区域最显著的静脉特征，公式如下：

pi＝GMP(Mi)，i＝1，2，3，4 (3)

式中，GMP表示全局最大池化层，Mi表示第i个局部区域，pi表示Mi对应的局部特征向量，其维度为C*1*1；

以提取M1对应的局部特征向量q1为例：首先通过1*1卷积对p1进行降维得到其维度大小为C/2*1*1，减小特征向量大小的同时减少模型参数量，防止过拟合；其次计算p2、p3、p4的均值向量并通过1*1卷积进行降维，得到融合了M2、M3、M4局部区域静脉信息的特征向量其维度大小为C/2*1*1，公式如下：

式中，Conv_1*1表示卷积核大小为1*1的卷积层，avg(*)表示均值函数；

然后将与通过通道级联进行拼接，并通过1*1卷积层进行融合，得到当前局部区域特征与其他局部特征之间的关系特征向量其维度大小为C/2*1*1，公式如下：

式中，Conv_1*1表示卷积核大小为1*1的卷积层，concatenate(*)表示维度拼接；

最后将该关系特征向量与相加，得到M1对应的最终局部特征q1，如公式(6)；此时局部特征向量q1不仅包含局部区域M1的静脉信息，还包含了M1与M2，M3，M4之间的关系：

局部区域M2，M3，M4对应的局部特征向量q2，q3，q4提取过程和q1相同；将提取的局部特征q1，q2，q3，q4的进行维度拼接作为指静脉局部特征Q₄，如公式(7)：

Q₄＝concatenate(q1，q2，q3，q4) (7)

为了提高局部特征的鲁棒性，同时提取6分块、4分块以及2分块的局部特征融合并归一化成最终的指静脉局部特征Q_local，公式如下：

L＝concatenate(Q₂，Q₄，Q₆)