[发明专利]一种基于骨骼点的端到端行人动作识别方法

说明书

本发明公开一种基于骨骼点的端到端行人动作识别方法，该发明设计的端到端行人动作识别网络由骨骼点检测模块和骨骼点动作识别模块组成，在骨骼点检测模块，首先利用ResNet‑50基干网络对行人视频序列提取深度特征，深度特征通过上采样子模块和热图预测子模块后得到预测的骨骼点热图，预测的热图通过骨骼点估计子模块后得到骨骼点位置；在动作识别模块，把骨骼点检测模块得到的骨骼点序列作为输入，送入时空图卷积网络(ST‑GCN)，依次进行多级时空图卷积操作，把ST‑GCN得到的特征图通过一个全连接层后输出动作类别预测概率。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于骨骼点的端到端行人动作识别方法。

背景技术

随着人工智能的快速发展，行人动作识别在视频监控、人机交互、动作分析及智能安防等领域得到了越来越广泛的应用。传统的行人动作识别大都是基于RGB视频或图像进行识别，但由于目标遮挡、光照变化和背景复杂等问题，行人动作识别效果并不理想。随着Kinect等深度传感器的普及，基于骨骼点的行人动作识别受到了广泛关注。现阶段基于骨骼点的动作识别方法通常先进行骨骼点检测，在骨骼点检测的基础上再进行动作识别，这种分级串联方式会使动作识别精度在一定程度上受骨骼点检测结果的影响。

发明内容

本发明的目的是提供一种基于骨骼点的端到端行人动作识别方法，解决了因骨骼点检测不准确导致的基于骨骼点的动作识别错误问题。

本发明采用的技术方案是，一种基于骨骼点的端到端行人动作识别方法，具体按照以下步骤实施：

步骤1，获取行人视频集VS＝{V₁,…,V_k,…,V_K}和真值标签集Label＝{L₁,…,L_k,…,L_K}，表示VS中的第k个视频；

L_k＝{BT_k,ST_k,AT_k}为V_k对应的真值标签，其中为V_k中行人的位置真值，表示V_k第i帧行人框在图像中的左上顶点和右下顶点坐标；为V_k中行人的骨骼点位置真值，表示V_k第i帧行人的所有骨骼点位置真值，其中jn表示骨骼点个数；AT_k为V_k中行人的动作类别真值，K表示VS中的视频总个数，n表示V_k的帧数；

步骤2，初始化视频个数计数器k＝1，视频总个数K，定义行人动作序列集PS＝NULL；

步骤3，将V_k、BT_k作为输入，调用开源的OPENCV提取感兴趣区域库函数cv2.wrapaffine()，在V_k中提取BT_k对应的行人所在图像区域P_k，将P_k追加到行人动作序列集PS中，即PS＝PS+P_k；

步骤4，视频个数计数器k＝k+1，当k＜K，进入步骤3，否则进入步骤5；

步骤5，按个数比例因子rat将PS分为训练样本集PS_train和测试样本集PS_test，PS_train和PS_test中对应的行人骨骼点位置真值表示为ST_trian和ST_test，动作类别真值表示为AT_train和AT_test；

步骤6，设计基于骨骼点的端到端行人动作识别网络结构；

步骤7，定义基于骨骼点的端到端行人动作识别网络的目标损失函数Loss；