[发明专利]一种人体动作识别方法及装置

权利要求书

1.一种人体动作识别方法，其特征在于，包括步骤：

获取预设帧数的视频片段，对所述视频片段中的中间帧采用基于区域的目标检测算法进行人体目标检测，得到所述中间帧的多个人体检测框；

对所述视频片段进行隔帧采样，得到多个图像帧序列；

对所述图像帧序列采用前馈神经网络特征提取算法进行多层特征提取，得到所述图像帧序列对应的特征图；

获取所述特征图中的末层特征图，针对检测出的所述人体检测框，对所述末层特征图中的所述人体检测框对应的人体特征向量进行降维处理，得到降维特征向量；其中，所述末层特征图包括特征通道数、时间维度、图像高度、图像宽度；降维后的特征向量的维度包括特征通道数、图像高度、图像宽度；

将所述降维特征向量分解为预设大小和预设维度的分解特征向量，所述特征向量的预设大小＝图像高度乘以图像宽度；预设维度与通道数相同；

将所述分解特征向量输入到编码器的节点进行编码，得到编码特征向量；所述节点的维度与所述分解特征向量的维度相对应，所述节点的个数与所述分解特征向量的个数相对应；

将所述降维特征向量进行扩充，得到预设个数的扩充特征向量；其中，所述预设个数为某个应用场景下出现的总人数；

将所述扩充特征向量和所述编码特征向量输入至第一单层解码器进行解码，得到第一解码特征向量；将所述第一解码特征向量和所述编码特征向量输入至第二单层解码器，得到第二解码特征向量；将所述第二解码特征向量和所述编码特征向量输入至第三单层解码器，得到第三解码特征向量；其中，所述第一单层解码器、第二单层解码器、第三单层解码器均为相同的解码器；

将所述第三解码特征向量输入至单层全连接前馈网络进行计算，得到多个预测值；再将所述预测值输入至逻辑回归模型，得到对应的预测概率，选取最大概率值对应的类别作为第三解码特征向量对应矩形框的人体行为动作类别。

2.根据权利要求1所述的一种人体动作识别方法，其特征在于，所述将所述分解特征向量输入到编码器的节点进行编码，得到编码特征向量，包括步骤：

将所述分解特征向量中的每个特征向量通过3个变换矩阵变换为3个第一变换特征向量；

将所述第一变换特征向量输入至多层前反馈网络进行计算，得到与所述分解特征向量个数和位数均相同的第一反馈特征向量；

将所述第一反馈特征向量与所述分解特征向量相加后，采用归一化算法进行处理，并将处理后的归一化特征向量的每个向量输入2层全连接前馈网络后，与所述归一化特征向量相加，再将相加后的特征向量做归一化处理，得到编码特征向量。

3.根据权利要求1所述的一种人体动作识别方法，其特征在于，所述将所述扩充特征向量和所述编码特征向量输入至第一单层解码器进行解码，得到第一解码特征向量；将所述第一解码特征向量和所述扩充特征向量输入至第二单层解码器，得到第二解码特征向量；将所述第二解码特征向量和所述扩充特征向量输入至第三单层解码器，得到第三解码特征向量；其中，所述第一单层解码器、第二单层解码器、第三单层解码器均为相同的解码器，包括步骤：

S1将所述扩充特征向量和所述编码特征向量中输入至所述第一单层解码器；

S2每个特征向量通过3个变换矩阵变换为3个第二变换特征向量；

S3将所述第二变换特征向量输入至多层前反馈网络进行计算，得到与所述分解特征向量个数和位数均相同的第二反馈特征向量；

S4将所述第二反馈特征向量与所述分解特征向量相加后，采用归一化算法进行处理，并将处理后的归一化特征向量的每个向量输入2层全连接前馈网络后，与所述归一化特征向量相加，再将相加后的特征向量做归一化处理，得到第一解码特征向量；

将所述第一解码特征向量和所述扩充特征向量输入至第二单层解码器，并重复步骤S2-S4，得到第二解码特征向量；将所述第二解码特征向量和所述扩充特征向量输入至第三单层解码器，并重复步骤S2-S4，得到第三解码特征向量。

4.根据权利要求1所述的一种人体动作识别方法，其特征在于，所述基于区域的目标检测算法采用FasterRCNN算法；所述前馈神经网络特征提取算法采用3D CNN ResNet。