[发明专利]一种步态特征提取方法、装置及设备

权利要求书

1.一种步态特征提取方法，其特征在于，该方法包括：

对目标对象的多帧图像进行预处理分别得到对应帧的预处理图像，其中，单帧的预处理图像包括人体轮廓图像和人体关节点图像；

将得到的预处理图像输入步态特征提取模型，所述步态特征提取模型中包括卷积神经网络和transformer网络；

利用所述卷积神经网络按照帧的时间顺序，依次对单帧的预处理图像进行第一步态特征的特征提取，所述第一步态特征用于表征目标对象步态的空间特征；

将得到的各帧的预处理图像的第一步态特征输入到所述transformer网络，由所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。

2.根据权利要求1所述的方法，其特征在于，所述transformer网络包括第一transformer网络和第二transformer网络，所述transformer网络利用transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于所述第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取，包括：

利用第一transformer网络采用注意力机制对卷积神经网络输出的各帧的第一步态特征，进行抑制非目标对象强化目标对象的第三步态特征的特征提取；

利用第二transformer网络的语义特征提取能力及长距离特性捕获能力对所述第一transformer网络得到的多帧的第三步态特征及帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取。

3.根据权利要求2所述的方法，其特征在于，还包括：

利用第二transformer网络的语义特征提取能力及长距离特性捕获能力对所述第一transformer网络得到的多帧的第三步态特征及帧的时间顺序，对目标对象的行走方向进行方向特征提取。

4.根据权利要求1～3任一所述的方法，其特征在于，还包括：

对不同目标对象分别对应的多帧图像样本进行处理，得到不同目标对象分别对应的多帧的预处理图像样本，对同一目标对象的多帧的预处理图像进行目标对象标注，得到一个训练样本；

将所述训练样本输入网络模型，所述网络模型包括特征提取层，所述特征提取层包括采用卷积神经网络的第一特征提取层和采用transformer网络的第二特征提取层；

利用所述第一特征提取层按照帧的时间顺序，依次对单帧的预处理图像样本进行第一步态特征的特征提取，利用第二特征提取层根据transformer网络的注意力机制和语义特征提取能力及长距离特性捕获能力，基于第一特征提取层输出的各帧的第一步态特征及其帧的时间顺序，进行融合步态时间特征和空间特征的第二步态特征的特征提取；

确定损失函数的取值，根据损失函数取值对所述网络模型的参数进行调整，所述损失函数包括根据第二特征提取层提取的相同目标对象的第二步态特征第一距离及不同目标对象的第二步态特征的第二距离确定的三元组损失函数；

确定满足参数调整结束条件时，将当前特征提取层确定为步态特征提取模型。

5.根据权利要求4所述的方法，其特征在于，所述网络模型还包括输出层，所述输出层根据所述第二特征提取层输出的第二步态特征预测识别到不同目标对象的概率，所述损失函数还包括：

将输出层预测识别到的不同目标对象的概率作为预测值，将根据预处理样本的目标对象标注获取确定期望输出的不同目标对象的概率作为目标值；

根据所述预测值及目标值计算得到目标对象标识的交叉熵损失函数取值。