[发明专利]基于深度学习的端到端的多模态步态识别方法

权利要求书

1.基于深度学习的端到端的多模态步态识别方法，其特征在于该方法包含如下步骤：

步骤1、接入行人步态图像序列或视频，将其输入基于GaitSet网络的步态外观特征提取分支提取外观特征F_App，包括颜色、纹理；

步骤2、通过简化的FCN网络，即语义分割分支对图像进行语义分割得到只包含行人步态轮廓信息的掩模；

步骤3、通过基于GaitSet网络的步态掩模特征提取分支对掩模提取行人步态掩模特征F_Mask，包含轮廓；

步骤4、对提取到的特征设置合适的权重进行特征融合，得到融合特征，用于后续计算；

步骤5、网络训练时，对融合特征计算三元组损失L_BA+和语义分割分支的交叉熵损失L_Cross进行Loss融合，所述的网络由步态外观特征提取分支、语义分割分支和步态掩模特征提取分支组成；

步骤6、使用训练好的网络进行前向推理时，计算待检索行人步态序列和检索库中行人步态序列融合特征之间的欧氏距离，根据欧氏距离计算rank-1识别准确率。

2.根据权利要求1所述的基于深度学习的端到端的多模态步态识别方法，其特征在于，

步骤1中所述步态外观特征提取分支基于GaitSet网络改进得到，改进之处：输入层的输入通道数由1调整为3以输入RGB图像；将空间金字塔池化中的全局最大池化替换为全局最大池化和全局平均池化之和，并替换GaitSet网络中的水平金字塔映射。

3.根据权利要求2所述的基于深度学习的端到端的多模态步态识别方法，其特征在于，

使用注意力机制提升有用的特征，使用独立的全连接层对有用的特征进行映射。

4.根据权利要求1所述的基于深度学习的端到端的多模态步态识别方法，其特征在于，

步骤2中所述简化的FCN网络包含9层卷积层和1个上采样层，其中前6层卷积层与步态外观特征提取分支的前6个卷积层共享权重。

5.根据权利要求1所述的基于深度学习的端到端的多模态步态识别方法，其特征在于，

步骤3中所述步态掩模特征提取分支输入层为1，其余结构和步态外观特征提取分支相同。

6.根据权利要求1所述的基于深度学习的端到端的多模态步态识别方法，其特征在于，

步骤4所述特征融合具体过程为F=p*F_App+q*F_Mask，其中F表示融合特征，p表示外观特征F_App的权重，q表示行人步态掩模特征F_Mask的权重。

7.根据权利要求1所述的基于深度学习的端到端的多模态步态识别方法，其特征在于，

步骤5所述Loss融合具体过程为Loss=r*L_BA++s*L_Cross，其中Loss表示融合损失，r表示三元组损失L_BA+的权重、s表示交叉熵损失L_Cross的权重。