[发明专利]基于深度学习级联特征融合的步态识别方法

说明书

本发明公开了一种基于深度学习级联特征融合的步态识别方法。本发明首先读取视频帧，通过局部特征提取分支进行局部特征提取，同时通过全局特征提取分支提取整体的轮廓特征，然后对两类特征进行融合进行后续识别。本发明使用改进的GaitSet网络作为局部特征提取分支对图像进行切片处理提取局部特征；通过改进的GaitSet网络得到全局特征提取分支，使网络更关注于图像的整体轮廓特征；通过精心设计的特征融合分支对两类特征进行融合使得整体框架得到更完整的特征表示。本发明具有较好的通用性，可适用于其他步态识别模型。

技术领域

本发明属于计算机视觉中的视频图像处理和步态识别领域，涉及一种基于深度学习的级联特征融合的步态识别方法。

背景技术

步态识别是通过行人走路姿态来进行身份确认的新兴生物特征识别技术。与人脸识别、指纹识别和虹膜识别等技术相比，步态识别研究起步相对较晚，因其具有非接触、远距离和不易伪装等优点，无需识别对象主动配合便可完成识别，因此，可广泛应用于智慧城市、智慧交通等领域以及寻找嫌疑人等场景。

近年来，随着深度神经网络的广泛应用，步态识别也有了较大的发展。现有的基于深度学习的步态识别方法大致可以分为两类：基于模板的方法和基于序列的方法，其均通过行人步态轮廓进行识别，但是大部分方法仅使用整体的轮廓特征或仅使用局部的轮廓特征，可能损失一部分有用的信息；即使有一些方法使用了整体和局部的轮廓特征，但其两类特征提取分支共享权重，无法使网络学习到各自特有的特征。

发明内容

本发明针对现有技术的不足，提出了一种基于深度学习级联特征融合的步态识别方法，将改进的全局和局部特征提取模型进行融合，提升步态识别的准确率并可广泛适用于其他步态识别网络。

本发明解决技术问题所采取的技术方案为：

步骤1、接入行人步态图像序列或视频，将其输入基于GaitSet网络的局部特征提取分支，对图像进行切片处理以提取局部特征F_Local。

步骤2、将行人步态图像序列或视频输入基于GaitSet网络改进的全局特征提取分支，该分支完整保留了图像的整体轮廓特征信息，得到全局特征F_Global。

步骤3、通过特征融合分支对提取的局部特征和全局特征进行特征融合。

步骤4、网络训练时对融合特征使用三元组损失以进行后续的反向传播更新网络参数。

步骤5、使用训练好的网络进行前向推理时，计算probe和gallery的融合特征之间的欧式距离，根据距离计算rank-1识别准确率。

本发明提供的技术方案的有益效果是：将GaitSet网络作为局部特征提取分支对图像进行切片提取局部特征，对GaitSet网络进行改进使其保留图像的完整轮廓信息提取全局特征，同时还设计了一个特征融合分支，对两类特征分别学习上下文信息并进行特征融合，增强了GaiSet中的全局特征，使网络提取特征的最终表示更完整，提升识别精度。本发明通过图像序列或视频输入而无需其他辅助设备即可实现高精度的步态识别。

附图说明

为了更清楚的展示本发明实施例中的网络结构以及训练和前向推理过程，下面将对实施例中所需要使用的附图做以简单地介绍。

图1为本发明提出的深度学习级联特征融合的步态识别方法结构；

图2为本发明进行训练的流程图；

图3为本发明进行前向推理的流程图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。