[发明专利]一种黑暗环境下热红外人体步态识别方法及装置

权利要求书

1.一种黑暗环境下热红外人体步态识别方法，其特征在于，所述方法包括：

采集黑暗环境下的热红外人体图像；

对所述人体图像进行标注，得到人体区域检测样本；

利用所述人体区域检测样本训练YOLOv5x模型，得到训练完成的YOLOv5x模型；

获取待识别视频图像；根据所述训练完成的YOLOv5x模型对待识别视频图像进行人体检测，得到人体区域框；

采用跟踪算法对所述人体区域框进行跟踪，得到人体区域时间序列；

根据Top-down方法对所述人体区域时间序列进行骨架提取，得到人体骨架时间序列；

根据预先训练的时空图卷积神经网络对所述人体骨架时间序列进行步态特征提取；根据所述步态特征，进行人体步态识别。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从所述人体区域检测样本中获取行人对应的人体关键点序列，将所述人体关键点序列输入至时空图卷积神经网络进行网络训练，得到训练完成的时空图卷积神经网络；所述人体关键点序列为带有人体身份标签的拓扑序列。

3.根据权利要求2所述的方法，其特征在于，采用跟踪算法对所述人体区域框进行跟踪，得到人体区域时间序列，包括：

采用Deep SORT算法对所述人体区域框进行跟踪，得到多帧时间序列中每个人的人体区域的人体对应关系；

根据所述人体对应关系，确定每个人的人体区域时间序列。

4.根据权利要求1-3任意一项所述的方法，其特征在于，根据Top-down方法对所述人体区域时间序列进行骨架提取，得到人体骨架时间序列，包括：

将所述人体区域时间序列输入HigherHRNet网络，得到热力图时间序列；

对所述热力图时间序列中的热力图取局部最大值，得到人体骨架时间序列。

5.根据权利要求1所述的方法，其特征在于，所述时空图卷积神经网络包括注意力机制层、图卷积层、时间卷积层、池化层、全连接层以及输出层。

6.根据权利要求5所述的方法，其特征在于，根据预先训练的时空图卷积神经网络对所述人体骨架时间序列进行步态特征提取，包括；

根据预先训练完成的时空图卷积神经网络中对所述人体骨架时间序列卷积聚合空间维度和时间维度上的信息，得到空间中相邻关节的局部特征和时间中关节变化的局部特征；

从所述空间中相邻关节的局部特征和时间中关节变化的局部特征进行步态特征提取。

7.根据权利要求6所述的方法，其特征在于，根据预先训练完成的时空图卷积神经网络中对所述人体骨架时间序列卷积聚合空间维度和时间维度上的信息，得到空间中相邻关节的局部特征和时间中关节变化的局部特征，包括：

根据预先训练完成的时空图卷积神经网络中的图卷积层对所述人体骨架时间序列进行图卷积，得到空间中相邻关节的局部特征；

根据预先训练完成的时空图卷积神经网络中的时间卷积层对所述空间中相邻关节的局部特征进行卷积，得到时间中关节变化的局部特征。

8.一种黑暗环境下热红外人体步态识别装置，其特征在于，所述装置包括：

获取检测样本模块，用于采集黑暗环境下的热红外人体图像；对所述人体图像进行标注，得到人体区域检测样本；

模型训练模块，用于利用所述人体区域检测样本训练YOLOv5x模型，得到训练完成的YOLOv5x模型；

人体检测模块，用于获取待识别视频图像；根据所述训练完成的YOLOv5x模型对待识别视频图像进行人体检测，得到人体区域框；

跟踪模块，用于采用跟踪算法对所述人体区域框进行跟踪，得到人体区域时间序列；

骨架提取模块，用于根据Top-down方法对所述人体区域时间序列进行骨架提取，得到人体骨架时间序列；

人体步态识别模块，用于根据预先训练的时空图卷积神经网络对所述人体骨架时间序列进行步态特征提取；根据所述步态特征，进行人体步态识别。