[发明专利]一种用于视频时空表征学习的多分组多注意力建模方法

权利要求书

1.一种用于视频时空表征学习的多分组多注意力建模方法，其特征在于，包括步骤：

S1.构建多分组多注意力模块；所述多分组多注意力模块包括多分组模块、多注意力模块和融合模块；所述多分组模块用于对视频通道进行排列后分组，所述多注意力模块用于将分组后各视频通道的输入X提取时序注意力特征权值和空间注意力特征权值，所述融合模块用于使用主网络对所述时序注意力特征权值和所述空间注意力特征权值进行融合，得到对应的视频时空特征；

S2.将所述多分组多注意力模块嵌入到3D-CNN网络中以构建多分组多注意力网络模型。

2.如权利要求1所述的一种用于视频时空表征学习的多分组多注意力建模方法，其特征在于：所述多注意力模块包括时序注意力提取模块和空间注意力提取模块；

所述时序注意力提取模块和所述空间注意力提取模块均包括三维最大池化模块、插值模块、三维卷积模块、批归一化模块、特征权值生成模块，分别用于对输入X顺序执行三维最大池化操作、插值操作、三维卷积操作、批归一化操作、特征权值生成操作，最后得到输入X的时序注意力特征权值和空间注意力特征权值；

对于所述时序注意力提取模块，其三维最大池化操作和三维卷积操作在时序一维的范围内执行；

对于所述空间注意力提取模块，其三维最大池化操作和三维卷积操作在空间二维的范围内执行。

3.如权利要求2所述的一种用于视频时空表征学习的多分组多注意力建模方法，其特征在于：所述特征权值生成操作具体是采用Sigmoid函数进行处理。

4.如权利要求2所述的一种用于视频时空表征学习的多分组多注意力建模方法，其特征在于：所述融合模块包括主网络、第一加和模块、点乘模块和第二加和模块；

所述第一加和模块用于对所述多注意力模块输出的时序注意力特征权值、空间注意力特征权值进行加和，得到三维注意力特征权值；

所述点乘模块用于对所述主网络、所述三维注意力特征权值进行点乘，得到点乘值；

所述第二加和模块用于对所述点乘值、所述主网络进行加和，得到输入X的视频时空特征。

5.如权利要求4所述的一种用于视频时空表征学习的多分组多注意力建模方法，其特征在于：在所述步骤S2中，所述多分组多注意力模块嵌入在3D-CNN网络的至少一层残差学习层中。