[发明专利]视频描述生成模型的获取方法、视频描述生成方法及装置

权利要求书

1.一种视频描述生成模型的获取方法，其特征在于，包括：

从预设视频库中获取多个视频；

对于每个视频，识别所述视频中的每一视频帧以提取该视频帧中的文字，对于每一视频帧对应的文字，将其与预存的标语文本进行匹配，删除匹配一致的文字；所述标语文本包括与视频帧没有强相关关系的内容；

合并每个视频的视频帧对应的文字，作为所述视频的视频描述；

将多个视频分别对应的视频帧及视频描述作为训练样本进行训练，获取视频描述生成模型；所述视频描述生成模型用于根据输入的视频帧，输出预测视频描述。

2.根据权利要求1所述的方法，其特征在于，在所述识别所述视频中的每一视频帧以提取该视频帧中的文字之后，还包括：

对所述视频中所有视频帧对应的文字进行分词，获取多个词序列；

删除出现频率不小于设定值的词序列。

3.根据权利要求1所述的方法，其特征在于，在所述识别所述视频中的每一视频帧以提取该视频帧中的文字之后，还包括：

对于每个视频中的每一视频帧，将所述视频帧与该视频中的其他视频帧一一进行比较，以确定所述视频帧与其他任一视频帧是否相似；

若是，删除其中一个视频帧，并将两个视频帧分别对应的文字进行合并，作为未删除的视频帧对应的文字。

4.根据权利要求3所述的方法，其特征在于，还包括：

对所述未删除的视频帧对应的文字进行分词以获取多个词序列；

删除出现频率不小于第一指定值或者不大于第二指定值的词序列。

5.根据权利要求3所述的方法，其特征在于，通过预先建立的分类网络确定所述视频帧与其他任一视频帧是否相似；

所述分类网络包括输入层、差分层、拼接层、卷积层以及输出层；

所述输入层用于获取输入的两个视频帧；

所述差分层用于将所述两个视频帧进行相减操作，获取差分图像；

所述拼接层用于拼接所述差分图像及所述两个视频帧，获取拼接图像；

所述卷积层用于对所述拼接图像进行特征提取，生成特征向量；

所述输出层用于根据所述特征向量输出相似结果。

6.根据权利要求1所述的方法，其特征在于，所述视频描述生成模型包括编码器网络和解码器网络；

所述编码器网络用于提取输入的多个视频帧的特征，生成视频的视觉特征；

所述解码器网络用于根据所述视觉特征依次生成解码词，并将生成的各个解码词组合成视频描述。

7.根据权利要求6所述的方法，其特征在于，所述编码器网络包括输入层、多个卷积层以及拼接层；

所述输入层用于获取输入的多个视频帧；

所述多个卷积层分别用于提取多个视频帧的特征；

所述拼接层用于将多个视频帧的特征进行拼接，生成视觉特征。

8.根据权利要求6所述的方法，其特征在于，所述解码器网络为长短期记忆网络。

9.根据权利要求6所述的方法，其特征在于，所述将多个视频分别对应的视频帧及视频描述作为训练样本进行训练，获取视频描述生成模型，包括：

将所述视频帧输入指定的视频描述生成模型，得到预测描述；

根据所述预测描述与所述视频帧对应的视频描述之间的差异，调整所述视频描述生成模型的参数，得到训练完成后的模型。

10.根据权利要求9所述的方法，其特征在于，所述根据所述预测描述与所述视频帧对应的视频描述之间的差异，调整所述视频描述生成模型的参数包括：

分别获取所述预测描述的特征向量以及所述视频帧对应的视频描述的特征向量；

根据所述预测描述的特征向量与所述视频帧对应的视频描述的特征向量之间的差异，调整所述视频描述生成模型的参数。