[发明专利]基于DAMR_3DNet的动作识别方法

说明书

本发明公开了一种基于DAMR_3DNet的动作识别方法。首先对每个动作类别进行预处理，读取动作视频，获取类别标签；其次对每个动作视频进行预处理，采用D‑3Dnet模块提取动作视频的低层时空特征，将3D卷积解耦为时间维度上的一维卷积和空间维度上的二维卷积；本发明设计的注意力机制模块，能够关注到对最终预测分类起到作用的通道特征信息和空间位置信息，提高模型分类的性能，最后融入的3D Residual Module不仅能够进一步提取高层时空特征，而且输出特征融合了高低层时空特征信息，从而使得网络能够充分的利用高低层特征信息，并且引入的残差结构能够有效的解决因为增加网络的层数而带来的梯度消失问题。

技术领域

本发明属于基于深度学习的动作识别技术领域，具体涉及一种基于DAMR_3DNet(Decouping 3D-CNN+Attention-Mechnism Module+3DResidual Module)的动作识别方法。

背景技术

随着深度学习的技术不断发展以及动作识别应用场景不断增加，目前在动作识别领域，基于深度学习的动作识别技术逐渐称为一个关键领域。

动作识别技术是计算机视觉的一个重要的研究领域，在人机方面应用较为广泛，动作识别技术在最近几年来已经逐渐成为计算机视觉领域的主要研究内容。动作识别的研究方法总体上可以分为两种，基于传统机器学习手动提取特征的方法和基于深度网络学习特征的识别方法。

针对于传统机器学习手动提取特征的方法主要是通过采用传统机器学习算法对视频进行预处理，提取视频特征，对特征进行向量化，训练模型，预测动作分类。但是视频动作识别存在光照、背景变化、视频帧之间存在联系等因素的影响，无法充分提取手势特征，鲁棒性较差。

针对于深度学习的动作识别方法，在视频分类上，与2D图像比，增加了时序信息，因此深度学习的动作识别方法不仅可以学习空间序列信息，还可以识别时间序列特征信息。例如Simonyan首先提出了经典的双流CNN，分别时使用空间流网络和时间流网络学习空间特征和时间特征，最后将两者融合，这种方法弥补了在传统机器学习方法上在时间序列上特征信息的丢失。又如Tran等人提出了C3D模型来提取视频时空特征，但是该方法存在参数过多，计算量较大等因素。

发明内容

针对于上述动作识别方法所得到的复杂特征难以提取、2DCNN无法捕捉动作视频帧间的时序信息以及计算量参数较大的问题，本发明提出一种基于DAMR_3DNet(Decouping3D-CNN+Attention-Mechnism Module+3DResidual Module)的视频动作识别方法。3DCNN网络结构虽能较好的捕捉视频信息的时空特征，但其存在网络参数量较大的问题。针对此问题提出了一种Decouping-3DNet网络模型，通过将3D卷积核拆分为在空间维度上的二维卷积以及在时间维度上的一维卷积，该方法能够有效的减少参数的计算量。此外，设计出一种Attention-Mechnism模型，该模型由通道注意力模块和空间注意力模块组成，通道注意力模块能够在卷积过程中关注哪些通道特征信息对视频动作分类起到重要作用，空间注意力模块关注图像中哪些位置的空间特征信息起到重要作用。并且最后融入了一个3DResidual Module模块，该模块不仅融合了包含注意力信息的低层特征，更进一步提取视频动作的高层时空特征，最后通过残差结构融合了视频动作的高低层时空特征，使得网络能够有效的利用高低层时空特征。

本发明的技术方案包括下列步骤：

步骤1)读取动作数据集UCF101中各类别的动作视频，并获取各个动作视频的类别标签，对每个动作视频进行预处理得到视频帧序列，将视频帧序列作为训练数据集，训练数据集包括训练集和测试集；

步骤2)构建DAMR_3Dnet模型：DAMR_3Dnet模型包括依次连接的D-3Dnet(Decouping-3DCNN)模块、注意力机制模块(Attention-Mechnism)和3DResidual模块；