[发明专利]基于显著片段采样的长视频动作识别方法

权利要求书

1.基于显著片段采样的长视频动作识别方法，其特征在于包括以下步骤：

1)准备长视频动作识别数据集；

2)设计用于显著片段采样的采样器和用于动作识别的分类器，通过采样器对视频运动特征显著的部分进行采样，分类器仅考虑采样器采样的片段，通过提取视频显著片段的时空特征进行动作分类；

3)在大规模图像数据集上，对采样器的主干网络ShuffleNet V2和分类器网络膨胀3D卷积网络进行预训练，得到预训练模型；

4)将预训练模型在长视频动作识别数据集上利用反向传播算法对整个模型进行端到端训练，并保存训练好的模型；

5)利用训练好的模型进行视频显著部分的采样和动作分类。

2.如权利要求1所述基于显著片段采样的长视频动作识别方法，其特征在于在步骤1)中，所述准备长视频动作识别数据集，假设训练集动作视频为{(x_i,y_i),i＝1,…,n}，其中，n为训练集的样本数；x_i为第i个训练样本对应的视频，y_i表示第i个训练样本对应的标签。

3.如权利要求1所述基于显著片段采样的长视频动作识别方法，其特征在于在步骤2)中，所述设计用于显著片段采样的采样器的具体步骤如下：

2.1采样器将输入视频平均分成N个片段，并从每个片段中均匀采样一帧图像；采样得到的N帧图像作为采样器的输入；

2.2ShuffleNet在经过第一次卷积和最大池化操作以后，主要分为三个阶段，每个阶段以后的特征图的大小皆为输入的一半，通道数则相应增加一倍；移除ShuffleNet原有的最后的全连接层，在图像输入采样器的主干网络后，获得N个1024维的特征向量用以表征每一帧的空间特征；

2.3获得每个片段代表帧的空间特征后，利用选择器生成特征矩阵选择运动特征显著的帧，选择器由1个多层感知器、1个全局感受模块和1个耿贝尔模块组成；特征矩阵经过选择器后，生成一个只含{0,1}离散的向量，0代表该帧所在的片段运动特征不够显著，分类器应不予考虑；反之，则代表该片段运动特征显著，分类器应予以考虑；

2.4采样器获得具有显著特征的片段后，分类器分别提取具有显著特征片段是时空特征；分类器使用3D卷积核，用于捕捉视频片段的时序特征和空间特征，最后使用多层感知器进行动作分类。