[发明专利]基于深度学习的视频UCL语义标引方法与装置

权利要求书

1.一种基于深度学习的视频UCL语义标引方法，其特征在于，包括如下步骤：

(1)利用深度神经网络提取视频的图像帧CNN特征，并通过计算CNN特征的余弦相似度判断视频帧之间的相似性，基于视频帧的相似性对视频进行分段；基于视频帧的相似性对视频进行分段的具体方法为：

当某一视频图像帧p_i与上一视频图像帧p_i-1的CNN特征的余弦相似度为0时，不对其进行分段；按照如下公式分别计算该视频图像帧归属本段视频的权重P_pre或者下一段视频的权重P_next：

其中dis为自定义的搜索距离，seg_tag是两帧图像的分段标志，当相似度大于等于设定的阈值时，取值为1，否则为0；

当P_pre＞P_next时，视频图像帧p_i隶属于本视频段，不需要重新分段；当P_pre＜P_next时，视频图像帧p_i作为下一视频段落的起始帧；当P_pre＝P_next时，令dis＝dis+1重新计算此视频图像帧的归属；

(2)在视频自然语言描述生成模型S2VT的编码器和解码器之间以及编码器各层神经网络中加入注意力机制，并利用视频图像帧的CNN特征余弦相似度进一步对步骤(1)得到的视频段进行分块，提取视频块的运动特征、音频特征与主题特征；将视频块中所有视频图像帧的CNN特征平均值、运动特征、音频特征与主题特征横向拼接后作为视频自然语言描述生成模型的输入，输出视频段自然语言描述特征；将所有视频段自然语言描述特征拼接得到视频自然语言描述特征；

(3)利用DNN-HMM模型将视频中的语音转换为文本描述，生成语音自然语言描述特征，然后提取语音自然语言描述特征以及步骤(2)中提取到的视频自然语言描述特征中的关键词及关键词权重，结合两个自然语言描述特征所对应的关键词，生成最终的视频关键词特征；

(4)利用UCL标引从视频内部获取的特征以及从视频外部获取的特征；所述从视频内部获取的特征包括各视频段自然语言描述特征、语音自然语言描述特征和视频关键词特征，所述从视频外部获取的特征包括视频作者和视频创作时间。

2.根据权利要求1所述的一种基于深度学习的视频UCL语义标引方法，其特征在于，所述步骤(1)中还提取各视频段的运动特征、音频特征与主题特征；所述步骤(4)中从视频内部获取的特征还包括各视频段的视频图像帧特征、运动特征、音频特征与主题特征。

3.根据权利要求1所述的一种基于深度学习的视频UCL语义标引方法，其特征在于，所述CNN特征利用卷积神经网络模型提取，以卷积神经网络最后一层全连接层输出特征作为视频每帧图像的CNN特征。

4.根据权利要求1所述的一种基于深度学习的视频UCL语义标引方法，其特征在于，所述运动特征利用C3D模型提取，将网络最后一层全连接层输出的C3D特征作为视频块的运动特征。

5.根据权利要求1所述的一种基于深度学习的视频UCL语义标引方法，其特征在于，所述音频特征是通过Fisher Vector将不同长度音频的MFCC特征转换为固定长度的特征向量；如果视频中没有音频信息，则用默认特征向量作为音频特征。

6.根据权利要求1所述的一种基于深度学习的视频UCL语义标引方法，其特征在于，所述主题特征是利用Word2Vec工具生成的视频块主题的特征向量；如果视频块没有相应的主题，则取一个默认的特征向量。

7.根据权利要求1所述的一种基于深度学习的视频UCL语义标引方法，其特征在于，所述步骤(3)中利用textRank算法分别提取语音自然语言描述特征和视频自然语言描述特征中的关键词及关键词对应的重要程度；将相似的关键词通过加权得到关键词权重，其中与为相似关键词的权重，β为关键词比重系数；最后通过对关键词权重进行排序，选择权重为top-N的关键词及对应的权重作为视频关键词特征。

8.一种基于深度学习的视频UCL语义标引装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-7任一项所述的基于深度学习的视频UCL语义标引方法。