[发明专利]一种基于深度学习和姿态估计的监控中人体动作识别方法

权利要求书

1.一种基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，包括：

S1、构建基于相对部位关节特征表示的多流动作识别模型；

S2、对人体骨骼动作数据进行预处理和相对部位关节特征表示的转换；

S3、将转换后的所述相对部位关节特征表示输入多流动作识别模型中进行模型的训练和评估，选取多轮迭代后收敛识别率最高的最优模型；

S4、获取监控视频实时场景下的监控片段，采用姿态估计算法得到监控片段中人体的骨骼动作序列，并对骨骼动作序列进行预处理；

S5、对预处理后的骨骼动作序列进行特征表示转换；

S6、使用所述最优模型识别预处理和特征表示转换后的骨骼动作序列中的人体动作，得到动作分类结果；

S7、将识别的分类结果与预设危险动作类别进行对比，并返回对比结果给监控工作人员；

所述步骤S1构建多流动作识别模型的方法为：

复合CNN和LSTM网络单元，在CNN和LSTM之间引入激活函数、随机失活和维度变换，整合成LSTM-CNN单元，用以提取运动骨骼序列的时空运动特征，并采用LSTM-CNN单元搭建得到多流动作识别模型；

使用一层公共的LSTM-CNN网络单元来提取低层运动特征，5个三层的LSTM-CNN多流网络并行提取人体骨骼不同部位的不同运动特征；

5个不同部位的运动特征图在时空池化过后，运用全连接和分类器将特征映射到分类得分向量；

采用权重融合策略，将5个分类得分融合得到最后的分类结果；

所述步骤S2中将原始骨骼序列关节的特征表示转换为相对部位关节特征表示的方法为：

将骨骼序列中的人体骨骼关节分为5个部分，包括左臂、右臂、左腿、右腿、躯干，每一部位包含若干个关节点；

每个部位选取一个靠近骨骼重心的关节点作为局部根节点；

计算每个部位中其它关节点到相应局部根节点的相对位置；

计算5个局部根节点到骨骼重心的相对位置，得到的新的坐标表示即为相对部位关节特征表示，其计算公式为：

其中，是特征表示转换前第t帧中关节点j的特征表示，x_j,t是特征转换之后的表示，r_i表示第i个部位的局部根节点关节，c表示人体骨骼的重心，n是关节点的个数，x_c,t表示t帧中重心的特征表示。

2.根据权利要求1所述的基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，所述步骤S2中人体骨骼动作数据进行预处理的方法为：

采用随机滑动窗口策略，设定窗口长度，在运动骨骼序列中随机截取一段作为输入，当序列长度小于窗口长度时，采用零填充补全。

3.根据权利要求1所述的基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，所述步骤S3中模型的训练和评估的方法为：

将转换后的运动骨骼序列输入到多流动作识别模型中，设定训练轮数为60轮，每5轮使用测试集进行一次评估，模型训练的初始学习率设定为0.01，在10轮和50轮后学习率降为原来的十分之一；

每5轮的模型评估中，使用识别准确率作为评估标准，选取12次评估中识别准确率最高的模型作为输出模型进行保存，作为应用阶段使用的最优模型。

4.根据权利要求1所述的基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，所述步骤S4中得到并预处理骨骼动作序列的方法为：

截取监控视频中固定长度的视频，采用局部亲和域姿态估计算法逐帧估计人体姿态，得到骨骼动作序列；并对所述骨骼动作序列进行标准化和去中心化，消除尺度和坐标的影响。

5.根据权利要求1所述的基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，所述步骤S6中将预处理和特征转换过后的骨骼动作序列输入到训练得到的最优模型中，得到动作分类结果。