[发明专利]基于深度学习的端到端的多模态步态识别方法

说明书

本发明公开了一种基于深度学习的端到端的多模态步态识别方法。本发明首先通过RGB视频帧提取步态外观特征（颜色纹理等），并且对RGB视频帧进行语义分割得到掩模，然后通过掩模提取步态掩模特征（轮廓等），最后对两类特征进行融合进行识别。本发明通过对GaitSet进行改进用于提取步态外观和掩模特征；通过简化的FCN在保证精度的前提下提升语义分割速度；将步态外观特征和掩模特征进行融合以获得更完整的信息表示。

技术领域

本发明属于计算机视觉中的视频图像处理和步态识别领域，涉及一种基于深度学习的端到端的多模态步态识别方法。

背景技术

步态识别是通过行人走路姿态来进行身份确认的新兴生物特征识别技术，与人脸识别、指纹识别和虹膜识别等技术相比，步态识别研究起步相对较晚，因其具有非接触、远距离和不易伪装等优点，无需识别对象主动配合便可完成识别，因此，可广泛应用于智慧城市、智慧交通等领域以及寻找嫌疑人等场景。

近年来，随着深度神经网络的广泛应用，步态识别也有了较大的发展。现有的基于深度学习的步态识别方法大致可以分为两类：基于模板的方法和基于序列的方法，其均通过分割的掩模图像提取行人的步态掩模特征进行识别。上述两种方法均通过手工分割的掩模图像提取行人的步态掩模特征进行识别，分割过的掩模图像可能损失一部分对步态识别有用的信息，且无法实现端到端的步态识别。

发明内容

本发明针对现有技术的不足，提出了一种基于深度学习的端到端的多模态步态识别方法，提升步态识别的准确率并可广泛适用于其他步态识别网络。

本发明解决技术问题所采取的技术方案为：

步骤1、接入行人步态图像序列或视频，将其输入基于GaitSet网络的步态外观特征提取分支提取外观特征F_App，包括颜色、纹理等。

步骤2、通过简化的FCN网络即语义分割分支对图像进行语义分割得到只包含行人步态轮廓信息的掩模。FCN的前六个卷积层与步态外观特征提取分支的前六个卷积层共享权重。

步骤3、通过基于GaitSet网络的步态掩模特征提取分支对掩模提取行人步态掩模特征F_Mask，包含轮廓等。

步骤4、对提取到的特征设置合适的权重进行特征融合，即F=p*F_App+q*F_Mask。融合特征为本发明所提出方法提取的最终特征。用于后续计算Loss（训练时）或欧氏距离（前向推理时）。

步骤5、在网络训练时，对融合特征计算三元组损失L_BA+、语义分割分支的交叉熵损失L_Cross进行Loss融合，设置不同的权重进行加权和，即Loss=r*L_BA++s*L_Cross。

步骤6、使用训练好的网络进行前向推理时，计算待检索行人步态序列和检索库中行人步态序列融合特征之间的欧氏距离，根据距离计算rank-1识别准确率。

本发明提供的技术方案的有益效果是：通过对GaitSet网络的水平金字塔映射部分进行修改使其提取到更丰富的特征，更适合于本发明所提出的多模态步态识别方法。通过加入简化的FCN网络，使得在增加很小的时间成本的情况下，完成对RGB图像的自动语义分割，实现端到端的步态识别。通过对Loss进行融合，使多个分支同时进行训练。通过对特征进行融合，使网络提取特征的最终表示更丰富完整。本发明通过图像序列或视频输入而无需其他辅助设备即可实现高精度的端到端的多模态步态识别。

附图说明

为了更清楚的展示本发明实施例中的网络结构以及训练和前向推理过程，下面将对实施例中所需要使用的附图做以简单地介绍。

图1为本发明方法的结构图；

图2为本发明方法进行训练的流程图；

图3为本发明方法进行前向推理的流程图。