[发明专利]基于深度学习的视频UCL语义标引方法与装置

摘要

本发明公开了一种基于深度学习的UCL语义标引方法与装置。首先利用神经网络提取视频低层语义特征；然后，基于特征灵活采样以及注意力机制，对视频自然语言描述生成模型S2VT进行改进，生成S2VT‑FFSA模型，此模型以视频低层语义特征作为输入，输出视频自然语言描述特征，并结合语音自然语言描述特征生成视频关键词等高层语义特征，一定程度上解决了语义特征提取不充分的问题；最后，利用UCL能够标引丰富语义特征的特点，提出视频内容的UCL标引方法，使视频标引更加规范化。本发明既能精确地抽取视频丰富的语义特征，又能客观、规范地标引这些特征。

主权项

1.一种基于深度学习的视频UCL语义标引方法，其特征在于，包括如下步骤：(1)利用深度神经网络提取视频的图像帧CNN特征，并通过计算CNN特征的余弦相似度判断视频帧之间的相似性，基于视频帧的相似性对视频进行分段；(2)在视频自然语言描述生成模型SV2T的编码器和解码器之间以及编码器各层神经网络中加入注意力机制，并利用视频图像的CNN特征余弦相似度进一步对步骤(1)得到的视频段进行分块，提取视频块的运动特征、音频特征与主题特征；将视频块中所有视频图像的CNN特征平均值、运动特征、音频特征与主题特征横向拼接后作为视频自然语言描述生成模型的输入，输出视频段自然语言描述特征；将所有视频段自然语言描述特征拼接得到视频自然语言描述特征；(3)利用DNN‑HMM模型将视频中的语音转换为文本描述，生成语音自然语言描述特征，然后提取语音自然语言描述特征以及步骤(2)中提取到的视频自然语言描述特征中的关键词及关键词权重，结合两个自然语言描述特征所对应的关键词，生成最终的视频关键词特征；(4)利用UCL标引从视频内部获取的特征以及从视频外部获取的特征；所述从视频内部获取的特征包括各视频段自然语言描述特征、语音自然语言描述特征和视频关键词特征，所述从视频外部获取的特征包括视频作者和视频创作时间。