[发明专利]基于深度学习级联特征融合的步态识别方法

权利要求书

1.基于深度学习级联特征融合的步态识别方法，其特征在于该方法包含如下步骤：

步骤1、接入行人步态图像序列或视频，将其输入基于GaitSet网络的局部特征提取分支，对图像进行切片处理以提取局部特征F_Local；

步骤2、将行人步态图像序列或视频输入基于GaitSet网络改进的全局特征提取分支，该分支完整保留了图像的整体轮廓特征信息，得到全局特征F_Global；

步骤3、通过特征融合分支对提取的局部特征和全局特征进行特征融合；

步骤4、网络训练时对融合特征使用三元组损失以进行后续的反向传播更新网络参数；

步骤5、使用训练好的网络进行前向推理时，计算probe和gallery的融合特征之间的欧式距离，根据距离计算rank-1识别准确率。

2.根据权利要求1所述的基于深度学习级联特征融合的步态识别方法，其特征在于，

步骤2中所述的全局特征提取分支基于GaitSet网络进行改进，GaitSet网络中的水平特征映射模块更改为直接对特征进行全局平均池化和全局最大池化的融合操作。

3.根据权利要求2所述的基于深度学习级联特征融合的步态识别方法，其特征在于，

在进行全局平均池化和全局最大池化的融合操作之后，通过一个全连接层对特征进行映射。

4.根据权利要求1至3中任一项所述的基于深度学习级联特征融合的步态识别方法，其特征在于，

所述的特征融合分支先对局部特征提取分支和全局特征提取分支进行输出放大，然后再将放大后的特征进行融合；

其中全局特征F_Global经过第一残差网络Res后得到第一全局残差特征F_{Global_Res1}，第一全局残差特征F_{Global_Res1}与全局特征F_Global相加融合经过第二残差网络Res得到第二全局残差特征F_{Global_Res2}，全局特征F_Global经过1×1的卷积分支得到全局特征F_{Global_1}，再将全局特征F_{Global_1}、第一全局残差特征F_{Global_Res1}和第二全局残差特征F_{Global_Res2}进行相加融合得到强化的全局特征F_G；

其中局部特征F_Local经过第三残差网络Res后得到第一局部残差特征F_{Local_Res1}，第一局部残差特F_{Local_Res1}与局部特征F_Local相加融合经过第四残差网络Res后得到第二局部残差特征F_{Local_Res2}，第一局部残差特征F_{Local_Res1}和第二局部残差特征F_{Local_Res2}进行相加融合得到局部残差特征F_{Local_Res}，使用一个3×3的卷积网络对局部残差特征F_{Local_Res}进一步提取特征得到第三局部残差特征F_{Local_Res3}，将第三局部残差特征F_{Local_Res3}输入一个注意力模型得到局部注意力特征F_Att，最终将第三局部残差特征F_{Local_Res3}、局部注意力特征F_Att与全局特征F_G进行相加后得到融合特征。