[发明专利]基于分级式结构的细粒度视频动作识别方法

权利要求书

1.基于分级式结构的细粒度视频动作识别方法，其特征在于：细粒度动作识别由双阶段构成，第一阶段识别大类类别，第二阶段在第一阶段基础上识别细粒度动作；具体为：第一步，将长时序视频分级式数据处理，长时序视频分段后每段提取一帧RGB图像以及提取帧附近的光流信息；第二步，将长时序视频的多个视频帧及光流特征送入多个并行的双流网络进行特征提取，每个双流网络由空间流和时序流构成；第三步，多个并行网络进行段之间的融合，随后对空间流和时序流进行融合，融合时赋予空间流较高权重，融合信息经过预测函数输出视频动作的大类类别；第四步，完成大类动作识别后对分级式数据处理得到的细粒度动作进行识别，在已知细粒度动作所属大类类别基础上，每段细粒度动作提取一帧图像及帧间光流信息输入双流网络；第五步，双流网络输出进行双流融合，融合时赋予时序流较高权重，经预测函数进行视频细粒度动作识别；双阶段的第一阶段包括第一步到第三步，第二阶段包括第四步到第五步；

第三步中所述多个并行网络进行段之间的融合，随后对空间流和时序流进行融合，融合时赋予空间流较高权重，具体为：双阶段的空间时序融合时处理权重不同，第一阶段进行大类识别时多个并行网络段间融合后，空间特征相对时序特征在大类识别中占主要地位，对空间流时序流加权融合时空间流较时序流有更高权重。

2.根据权利要求1所述的基于分级式结构的细粒度视频动作识别方法，其特征在于：第一步中所述将长时序视频分级式数据处理，具体为：原始输入视频的数据处理是分级式的，某个完整动作的长时序视频采样多帧信息作为该视频的表征，包括多帧图像及帧间光流信息；随后将长时序动作视频分割为多个细粒度动作片段，每个视频片段包括一段细粒度动作，每段细粒度动作视频采样一帧信息作为当前细粒度动作视频片段的表征。

3.根据权利要求1所述的基于分级式结构的细粒度视频动作识别方法，其特征在于：第二步中所述将长时序视频的多个视频帧及光流特征送入多个并行的双流网络进行特征提取，具体为：视频特征处理结构是分层次双阶段的，其中第一阶段处理长时序视频采样得到的多帧RGB图像及帧间光流信息，多个双流网络并行进行特征提取。

4.根据权利要求1所述的基于分级式结构的细粒度视频动作识别方法，其特征在于：第四步中所述每段细粒度动作提取一帧图像及帧间光流信息输入双流网络，具体为：视频特征处理结构是分层次双阶段的，其中第二阶段处理细粒度动作视频采样的一帧图像及光流信息，用单个网络进行特征提取。

5.根据权利要求1所述的基于分级式结构的细粒度视频动作识别方法，其特征在于：第五步中所述双流网络输出进行双流融合，融合时赋予时序流较高权重，具体为：双阶段的空间时序融合时处理权重不同，第二阶段进行细粒度动作识别时，由于空间信息相近，时序特征相对空间特征在细粒度动作识别中占主要地位，在空间流时序流采用加权融合过程中时序流较空间流有更高权重。