[发明专利]一种步态特征提取方法、装置及设备

说明书

本发明提供一种步态特征提取方法、装置及设备，该方法包括：对目标对象的多帧图像进行预处理得到对应帧的预处理图像；将预处理图像输入步态特征提取模型，步态特征提取模型中包括卷积神经网络和transformer网络；利用卷积神经网络按照帧的时间顺序依次对单帧的预处理图像进行第一步态特征的特征提取；由transformer网络基于第一步态特征及其帧的时间顺序，进行第二步态特征的特征提取，上述方法将深度卷积网络与视觉transformer网络相结合，充分利用了网络的特性，在保证提取的步态特征的准确性的同时，实现了对步态特征的快速提取。

技术领域

本申请涉及目标识别技术领域，尤其涉及一种步态特征提取方法、装置及设备。

背景技术

步态识别技术是依据目标对象的行走姿态进行身份识别的技术，作为生物特征识别中一种新型的技术，以其独有的远距离、难伪装、非接触等优点，在国家公共安全，金融安全等领域中具有重要的研究价值和应用价值。

步态识别系统的大体分成三个步骤：行人分割和关节点检测的步态预处理、步态特征的提取、步态特征的比对识别。其中处于中间环节的步态特征的提取很大程度上决定了整个过程的成功率。为了能够获得有效而可靠的行人步态特征，大多数现有的步态特征提取方法采用具有强大表达能力的深度模型提取步态特征；如Liao等人利用深度姿态模型获得视频序列中人体的姿态信息，随后通过长短记忆模型(LSTM)融合步态的时间和空间信息获得人体步态特征进行识别；但这些步态特征提取算法在使用神经网络组织或者融合行人的时序和空间的信息时，未能充分利用深度网络特性且通常网络的计算比较耗时。

发明内容

本发明提供了一种步态特征提取方法、装置及设备，用于解决目前的步态特征提取算法在使用神经网络组织或者融合行人的时序和空间的信息时，未能充分利用深度网络特性且通常网络的计算比较耗时的问题。

第一方面，本发明提供了一种步态特征提取方法，该方法包括：

对目标对象的多帧图像进行预处理分别得到对应帧的预处理图像，其中，单帧的预处理图像包括人体轮廓图像和人体关节点图像；

将得到的预处理图像输入步态特征提取模型，所述步态特征提取模型中包括卷积神经网络和transformer网络；

利用所述卷积神经网络按照帧的时间顺序，依次对单帧的预处理图像进行第一步态特征的特征提取，所述第一步态特征用于表征目标对象步态的空间特征；

将得到的各帧的预处理图像的第一步态特征输入到所述transformer网络，由所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。

第二方面，本发明提供了一种步态特征提取装置，该装置包括：

获取模块，用于对目标对象的多帧图像进行预处理分别得到对应帧的预处理图像，其中，单帧的预处理图像包括人体轮廓图像和人体关节点图像；

特征提取模块，用于将得到的预处理图像输入步态特征提取模型，所述步态特征提取模型中包括卷积神经网络和transformer网络；

第一特征提取模块，用于利用所述卷积神经网络按照帧的时间顺序，依次对单帧的预处理图像进行第一步态特征的特征提取，所述第一步态特征用于表征目标对象步态的空间特征；

第二特征提取模块，用于将得到的各帧的预处理图像的第一步态特征输入到所述transformer网络，由所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。