[发明专利]一种人体动作识别方法及装置

说明书

本申请实施例提供的一种人体动作识别方法及装置，该方法包括获取视频片段，对视频片段中的图像帧序列进行特征提取以及降维处理，然后对降维后的特征向量进行编码，将降维特征向量进行扩充，得到预设个数的扩充特征向量；将扩充特征向量和所述编码特征向量输入至三层单层解码器进行解码；将最后一层解码特征向量输入至单层全连接前馈网络进行计算，得到多个预测值；再将预测值输入至逻辑回归模型，得到对应的预测概率，选取最大概率值对应的类别作为最后一层解码特征向量对应矩形框的人体行为动作类别。经过序列到序列的编码和解码过程，能够更加准确的识别出每个人的行为动作标签，提高了人体动作识别的准确性。

技术领域

本发明实施例涉及计算机识别技术领域，具体涉及一种人体动作识别方法及装置。

背景技术

近几年，计算机视觉和机器学习的飞速发展，视频分析任务已经从推断当前的状态转变为预测未来状态。基于视频的人体动作识别和预测就是这样的任务，其中动作识别是基于完整的动作执行来推断人类动作的当前状态，动作预测基于不完整的动作执行来预测人类动作的未来状态。由于这两项任务在现实世界中爆炸性地出现，例如智能安防视频监视、人机交互、虚拟现实和医疗监护等领域，因此成为热门的研究方向。

但是，基于深度特征提取的人体动作识别存在如下问题：1)在实际场景下，异常动作发生频率很低，数据收集和标注困难，即无论是常规动作还是异常动作都存在多样且复杂的特点，进而导致类别内的多样性较高和在真实场景下，特别在安防领域，基于深度学习的人体动作识别遇到了较大的挑战。2)在深度特征的提取上，传统的人体动作特征提取模型无法精确并且完整的提取特征信息。在复杂场景下，受到遮挡和摄像头角度等情况的影响，传统的特征提取模型能力弱，算法鲁棒性还需要提升。

发明内容

本发明针对视频中人的行为动作识别，设计了一种新型的序列到序列的编码器-解码器的人体行为动作识别方法及装置。其具体技术方案如下：

根据本发明实施例提供的一种人体动作识别方法，包括步骤：

获取预设帧数的视频片段，对所述视频片段中的中间帧采用基于区域的目标检测算法进行人体目标检测，得到所述中间帧的多个人体检测框；

对所述视频片段进行隔帧采样，得到多个图像帧序列；

对所述图像帧序列采用前馈神经网络特征提取算法进行多层特征提取，得到所述图像帧序列对应的特征图；

获取所述特征图中的末层特征图，针对检测出的所述人体检测框，对所述末层特征图中的所述人体检测框对应的人体特征向量进行降维处理，得到降维特征向量；其中，所述末层特征图包括特征通道数、时间维度、图像高度、图像宽度；降维后的特征向量的维度包括特征通道数、图像高度、图像宽度；

将所述降维特征向量分解为预设大小和预设维度的分解特征向量，所述特征向量的预设大小＝图像高度乘以图像宽度；预设维度与通道数相同；

将所述分解特征向量输入到编码器的节点进行编码，得到编码特征向量；所述节点的维度与所述分解特征向量的维度相对应，所述节点的个数与所述分解特征向量的个数相对应；

将所述降维特征向量进行扩充，得到预设个数的扩充特征向量；其中，所述预设个数为某个应用场景下出现的总人数；

将所述扩充特征向量和所述编码特征向量输入至第一单层解码器进行解码，得到第一解码特征向量；将所述第一解码特征向量和所述编码特征向量输入至第二单层解码器，得到第二解码特征向量；将所述第二解码特征向量和所述编码特征向量输入至第三单层解码器，得到第三解码特征向量；其中，所述第一单层解码器、第二单层解码器、第三单层解码器均为相同的解码器；

将所述第三解码特征向量输入至单层全连接前馈网络进行计算，得到多个预测值；再将所述预测值输入至逻辑回归模型，得到对应的预测概率，选取最大概率值对应的类别作为第三解码特征向量对应矩形框的人体行为动作类别。