[发明专利]一种基于骨骼点的端到端行人动作识别方法

权利要求书

1.一种基于骨骼点的端到端行人动作识别方法，其特征在于，具体按照以下步骤实施：

步骤1，获取行人视频集VS＝{V₁,…,V_k,…,V_K}和真值标签集Label＝{L₁,…,L_k,…,L_K}，表示VS中的第k个视频；

L_k＝{BT_k,ST_k,AT_k}为V_k对应的真值标签，其中为V_k中行人的位置真值，表示V_k第i帧行人框在图像中的左上顶点和右下顶点坐标；为V_k中行人的骨骼点位置真值，表示V_k第i帧行人的所有骨骼点位置真值，其中jn表示骨骼点个数；AT_k为V_k中行人的动作类别真值，K表示VS中的视频总个数，n表示V_k的帧数；

步骤2，初始化视频个数计数器k＝1，视频总个数K，定义行人动作序列集PS＝NULL；

步骤3，将V_k、BT_k作为输入，调用开源的OPENCV提取感兴趣区域库函数cv2.wrapaffine()，在V_k中提取BT_k对应的行人所在图像区域P_k，将P_k追加到行人动作序列集PS中，即PS＝PS+P_k；

步骤4，视频个数计数器k＝k+1，当k＜K，进入步骤3，否则进入步骤5；

步骤5，按个数比例因子rat将PS分为训练样本集PS_train和测试样本集PS_test，PS_train和PS_test中对应的行人骨骼点位置真值表示为ST_trian和ST_test，动作类别真值表示为AT_train和AT_test；

步骤6，设计基于骨骼点的端到端行人动作识别网络结构；

步骤7，定义基于骨骼点的端到端行人动作识别网络的目标损失函数Loss；

步骤8，设置网络模型训练参数，将训练样本集PS_train和对应的真值标签ST_trian、AT_train分别送入设计的基于骨骼点的端到端行人动作识别网络中进行训练，当目标函数Loss收敛或者达到迭代设置次数时，结束网络训练，输出网络模型Model；

步骤9，将测试样本集PS_test送入网络模型Model中，预测得到PS_test中行人的动作类别AC_pred，通过比较测试样本集的预测动作类别AC_pred和真值标签AT_test是否一致，计算样本的动作识别准确率，计算所有样本准确率的平均值，得到基于骨骼点的端到端行人动作识别网络在标准数据集上对行人动作识别的准确率。

2.根据权利要求1所述一种基于骨骼点的端到端行人动作识别方法，其特征在于，所述步骤6具体过程为：

基于骨骼点的端到端行人动作识别网络结构包括输入层、骨骼点检测模块M_dec、基于骨骼点的动作识别模块M_rec和输出层，具体结构为：

输入层接收一个大小为F×(W×H×C)的视频单元O_m，F为视频帧数，W、H、C分别为视频单元中图像的宽、高和通道数；

骨骼点检测模块包括ResNet-50网络、上采样子模块SM_UpSample、热图预测子模块SM_heatmap和骨骼点估计子模块SM_Point；

基于骨骼点的动作识别模块包括图卷积网络子模块和动作识别子模块SM_rec；

输出层输出视频单元O_m的预测动作类别AC_pred，其中AC_pred大小为1×C，C为动作类别数。