[发明专利]一种用于视频时空表征学习的多分组多注意力建模方法

说明书

本发明涉及视频理解技术领域，具体公开了一种用于视频时空表征学习的多分组多注意力建模方法，包括步骤：S1.构建多分组多注意力模块(MGMA模块)；多分组多注意力模块包括多分组模块、多注意力模块和融合模块；多分组模块用于对视频通道进行排列后分组，多注意力模块用于将分组后各视频通道的输入X提取时序注意力特征权值和空间注意力特征权值，融合模块用于使用主网络对所述时序注意力特征权值和所述空间注意力特征权值进行融合，得到对应的视频时空特征；S2.将多分组多注意力模块嵌入到3D‑CNN网络中以构建多分组多注意力网络模型。本发明提出了一种新颖、轻量且灵活有效的MGMA模块，通过时空分离机制和多分组结构捕获高辨识度多注意力特征。

技术领域

本发明涉及视频理解技术领域，尤其涉及一种用于视频时空表征学习的多分组多注意力建模方法。

背景技术

视频行为识别是视频分析与理解研究中一项非常具有挑战性的任务。近年来，越来越多的方法和技术相继被研发出来，用于经裁剪的包含单个行为类别的视频片段识别任务。实际上对于人本身而言，通过一个视频片段去识别一种行为同样非常具有挑战性。例如，对于UCF101数据集中“皮划艇(Kayaking)”和“赛艇(Rowing)”两类行为，一个时长几秒的视频片段可能需要人反复仔细观察才可辨别。虽然视频比图像具有更多时序和空间上的表征信息，但人类视觉并不会处理整个时间范围内的全部画面。相反，人类视觉会选择性地将注意力专注于部分可视空间上的关键帧，进而获取所需的“何处何时(Where and When)”关键信息，并且通过时序和空间上不同的定位信息构建出行为的内在表征。这样，可以快速并准确识别行为信息，主要是因为空间和时间上选择性视觉注意机制发挥的重要作用。

选择性视觉注意力可能是人类智能中最吸引人的方面之一，这种能力也被研究者们建模并证明在图像和视频分析识别任务上是有效的。给定一幅图像，不仅是显著的物体，丰富多彩的背景也能够吸引人类的注意力，基于注意机制的模型旨在选择一个关注的位置，并同时增强相对应的表征信息。然而，对于给定一段视频序列而言，情况会更复杂，在建模注意机制时必须在空间上捕获多个物体信息，同时在时间上捕获多种运动信息，仅仅通过静态图像或动作信息来区分行为动作仍十分困难。如图1所示，只通过静止图像或运动信息来区分“将某物从左边推至右边”(左)和“将某物靠近某物”(右)是非常具有挑战性的工作。

发明内容

本发明提供一种用于视频时空表征学习的多分组多注意力建模方法，解决的技术问题在于：目前无法对视频行为进行高辨识度表征。

为解决以上技术问题，本发明提供一种用于视频时空表征学习的多分组多注意力建模方法，包括步骤：

S1.构建多分组多注意力模块；所述多分组多注意力模块包括多分组模块、多注意力模块和融合模块；所述多分组模块用于对视频通道进行重排，所述多注意力模块用于将分组后各视频通道的输入X提取时序注意力特征权值和空间注意力特征权值，所述融合模块用于使用主网络对所述时序注意力特征权值和所述空间注意力特征权值进行融合，得到对应的视频时空特征；

S2.将所述多分组多注意力模块嵌入到3D-CNN网络中以构建多分组多注意力网络模型。

进一步地，所述多注意力模块包括时序注意力提取模块和空间注意力提取模块；所述时序注意力提取模块和所述空间注意力提取模块均包括三维最大池化模块、插值模块、三维卷积模块、批归一化模块、特征权值生成模块，分别用于对输入X顺序执行三维最大池化操作、插值操作、三维卷积操作、批归一化操作、特征权值生成操作，最后得到输入X的时序注意力特征权值和空间注意力特征权值；

对于所述时序注意力提取模块，其三维最大池化操作和三维卷积操作在时序一维的范围内执行；

对于所述空间注意力提取模块，其三维最大池化操作和三维卷积操作在空间二维的范围内执行。

优选地，所述特征权值生成操作具体是采用Sigmoid函数进行处理。