[发明专利]视频属性表示学习方法及视频文字描述自动生成方法

权利要求书

1.一种视频属性表示学习方法，用于提取可用于视频文字描述自动生成的视频语义信息，其特征在于，包括下述步骤：

步骤1)收集一批数据用于视频文字自动描述算法的训练与测试，数据要求每个视频对应几句对应的文字描述；

步骤2)定义训练集中的文字描述内容中出现的所有的名词、动词、和形容词作为对应视频的属性标注信息，则训练集中的每个视频都对应多个属性标签，因此视频的属性表示学习即看作视频的多分类问题；

步骤3)将一段视频序列表示为单幅图像，从而将复杂困难的视频序列多分类问题转化为较为简单的单幅图片多标签分类问题，具体为：

首先在一个大规模图片分类数据集上训练一个深度卷积神经网络用于提取单幅图片特征，即训练一个映射函数H(k)，其中k是输入图像，若此深度卷积神经网络的最后一层有d个神经元，则图像k通过映射函数H(k)会转换为一个d维特征向量，对于训练集中的每一个视频V，对其平均采样n帧，则通过映射函数H(k)会获得n个d维图像特征向量{H(k₁)，H(k₂)，...H(k_n)}，根据这n个向量构建一个d×n维的图像，此图像每一列即是输入视频的一个采样帧的特征H(k_*)，每一行都代表了对应图像特征维度在视频时序中的信息，将此d×n维的图像称之为视频响应图像(VRM)；

在训练集中的每一个视频都转化为一幅视频响应图像之后，步骤2)中复杂的视频多标签分类问题即转变为视频响应图像的多标签分类问题，训练一个视频属性表示向量提取网络，在训练完成之后，取视频属性表示向量提取网络的最后一层作为视频响应图像对应视频的属性表示向量，记为F_att(V)。

2.根据权利要求1所述的一种视频属性表示学习方法，其特征在于，所述步骤3)中，采用基于交叉熵损失函数的卷积神经网络根据视频响应图像训练一个视频属性表示向量提取网络。

3.根据权利要求1所述的一种视频属性表示学习方法，其特征在于，所述步骤1)中，将数据集按照9:1的比例分为训练集和测试集。

4.一种基于权利要求1至3任一项所述的视频属性表示学习方法的视频文字描述自动生成方法，用于将上述经过视频属性表示学习方法提取到的视频语义信息与现有视频文字描述自动生成编解码模型融合，最终生成文字描述，具体包括下述步骤：

步骤1、首先在一个大规模图像单标签分类数据集上训练一个通用的图像视觉特征提取网络；

步骤2、收集用于视频文字描述自动生成的数据集，即每一个视频对应一组文字描述，依据所述视频属性表示学习方法得到视频的属性表示向量，记为F_att(V)；

步骤3、融合视频帧视觉特征与视频属性特征；

步骤4、将融合视频属性特征与采样帧视觉特征的所有向量计算完成之后作为语言解码模型的输入，通过在训练集中训练即可获得视频文字描述自动生成的模型；

步骤5、在训练集中训练完成后，将测试集中的视频按照训练集中的处理方式做预处理提取特征之后送入步骤4中的视频文字自动描述生成模型，即自动生成文字描述。

5.根据权利要求4所述的一种视频文字描述自动生成方法，其特征在于，所述步骤3进一步具体为：

在视频特征编码阶段，每一采样帧对应的视频编码特征除了接受每一个视频采样帧的视觉特征F(I)之外，需同时接受视频的属性表示向量F_att(V)，对于t时刻视频编码特征x_t，其有一半的维度接受整个视频属性特征F_att(V)的映射，另一半维度接受当前时刻对应的视频采样帧的特征F(I)的映射，即：

其中W₁和W₂是需要学习的映射权重。