[发明专利]一种基于高阶低秩多模态注意力机制的视频描述方法

说明书

本发明公开了一种基于高阶低秩多模态注意力机制的视频描述方法，用于为给定视频片段生成简短准确的描述。具体包括如下步骤：获取用于训练视频描述生成模型的视频数据集，并定义算法目标；对视频数据集中的时序多模态特征建模；基于时序多模态特征在解码器上建立高阶低秩多模态注意力机制；使用所述模型生成输入视频的描述。本发明适用于真实视频场景的视频描述生成，面对各类复杂情况具有较佳的效果和鲁棒性。

技术领域

本发明属于计算机视觉领域，特别地涉及一种基于高阶低秩多模态注意力机制的视频描述方法。

背景技术

在现今社会，视频变成了人类社会不可或缺的一部分，可以说无处不在。这样的环境使得人们对于视频语义内容的研究也得到了很大的发展，目前对于视频的大多数研究主要集中在较低层次，比如分类，检测等。得益于循环神经网络的发展，视频描述生成这个新的任务也映入了人们的眼帘。给定一个视频片段，使用经过训练得到的网络模型，自动为视频片段生成一句描述。其在现实社会的应用也很广泛，比如，YouTube上每分钟会产生大约100个小时的视频，如果产生的视频资源没有被很好地标记，那么这些资源就没法被充分的利用，所以视频描述对于网上视频的搜索和检索有着至关重要的作用。此外，视频描述也使得“盲人电影”有了很好的发展，让盲人也能“观看”电影。

现有的视频描述生成方法大都采用编码器-解码器结构，使用编码器提取视频数据的信息并转化为特征，使用解码器将特征解码为语句描述。对于视频数据，编码器一般使用卷积神经网络与循环神经网络相结合的形式，提取的特征为时序多模态特征。解码器一般使用单独的循环神经网络结合注意力机制，但目前的注意力机制都忽略了多模态特征之间的关联信息，这会对视频描述的精度产生影响。

发明内容

为解决上述问题，本发明提供了一种基于高阶低秩多模态注意力机制的视频描述生成方法，用于总结给定视频的主要内容并生成准确的描述。本发明的方法在模型的编码器阶段提取了时序多模态特征；在解码器阶段，为多种时序特征建立了相互关联的高阶低秩注意力机制。本方法充分利用了视频数据中的多种模态以及相互的关联信息，能够为待测视频生成更加准确的描述。

为实现上述目的，本发明的技术方案为：

一种基于高阶低秩多模态注意力机制的视频描述方法，包括以下步骤：

S1、获取用于训练模型的视频数据集，所述视频数据集包括多个样本视频，并定义算法目标；

S2、对所述视频数据集中每个样本视频的时序多模态特征建模，得到样本视频的时序多模态特征，包括图像特征，运动特征，和音频特征；

S3、通过所述时序多模态特征在解码器上建立高阶低秩多模态注意力机制，基于样本视频的特征建立描述生成模型；

S4、使用所述描述生成模型生成输入视频的描述。

进一步的，步骤S1中，所述的视频数据集包括样本视频集X_train以及人工标注的视频描述集Y_train；

定义算法目标为：给定样本视频x＝{x₁,x₂,…,x_L}，生成此视频的描述语句y＝{y₁,y₂,…,y_N}；其中，x_l代表第l个视频块，每个视频块包含固定的视频帧数且可以有重叠，L代表总视频块数,y_n代表描述语句的第n个单词，N代表描述语句长度。

进一步的，步骤S2具体包括：