[发明专利]视频描述信息的生成方法、装置及服务器

权利要求书

1.一种视频描述信息的生成方法，其特征在于，包括：

获取目标视频，所述目标视频包括以下至少两项特征信息：所述目标视频的标签、用于表征所述目标视频中音频的第一特征信息、用于表征所述目标视频的显示内容的第二特征信息；

将所述至少两项特征信息进行融合，得到融合特征信息；

将所述融合特征信息输入至目标视频描述生成模型，得到所述目标视频的视频描述信息。

2.根据权利要求1所述的方法，其特征在于，所述将所述至少两项特征信息进行融合，得到融合特征信息，包括：

获取至少两个特征矩阵，所述至少两个特征矩阵与所述至少两项特征信息一一对应，所述至少两个特征矩阵的行数或列数相同，且所述至少两个特征矩阵的行数或列数为N，N为大于1的整数；

将所述至少两个特征矩阵在第一方向上进行拼接，得到所述融合特征信息；其中，当所述至少两个特征矩阵的行数相同时，所述第一方向为行方向；当所述至少两个特征矩阵的列数相同时，所述第一方向为列方向。

3.根据权利要求2所述的方法，其特征在于，所述第一特征信息包括第一文本，所述第一文本包括以下至少一项：所述目标视频的语音对应的文本、所述目标视频的背景音乐的歌词文本、所述目标视频的背景音乐的音乐主题文本；

所述获取至少两个特征矩阵，包括：

在所述至少两个特征矩阵包括所述标签对应的特征矩阵或者所述第一文本对应的特征矩阵的情况下，根据目标特征信息，确定N个子特征，其中，当所述目标特征信息为所述标签时，所述N个子特征包括所述标签中的多个字符，当所述目标特征信息为所述第一文本时，所述N个子特征包括所述第一文本中的多个关键词；

将所述N个子特征分别对应的特征向量在垂直于所述第一方向的方向上进行拼接，得到所述标签对应的特征矩阵或者所述第一文本对应的特征矩阵。

4.根据权利要求3所述的方法，其特征在于，所述根据目标特征信息，确定N个子特征，包括：

当所述目标特征信息中的子特征数量小于N时，确定所述N个子特征为所述目标特征信息中的子特征以及至少一个空字符；

当所述目标特征信息中的子特征数量等于N时，确定所述N个子特征为所述目标特征信息中的子特征；

当所述目标特征信息中的子特征数量大于N时，确定所述N个子特征为所述目标特征信息中的部分子特征；

其中，所述目标特征信息中的一个子特征为所述标签中的一个字符或者所述第一文本中的一个关键词。

5.根据权利要求2所述的方法，其特征在于，在所述至少两个特征矩阵包括所述第二特征信息对应的特征矩阵的情况下，

所述获取至少两个特征矩阵，包括：

在所述目标视频中抽取N帧图片；

获取所述N帧图片中每帧图片的显示内容特征，所述每帧图片的显示内容特征包括以下任意一项：M个概率值、光流图以及图片中的文本，其中，一个概率值为图片中存在M个目标对象中的一个目标对象的概率值，所述光流图表征图片与所述N帧图片中的上一帧图片的变化信息，M为大于1的整数；

将所述N帧图片的显示内容特征分别对应的特征向量在垂直于所述第一方向的方向上进行拼接，得到所述第二特征信息对应的特征矩阵。

6.根据权利要求5所述的方法，其特征在于，所述获取所述N帧图片中的每帧图片的显示内容特征，包括：

在所述每帧图片的显示内容特征包括光流图的情况下，将所述N帧图片按照在所述目标视频中的顺序排列；

对于所述N帧图片中的第1帧图片，确定所述第1帧图片与预定的空白图片之间的光流图；对于所述N帧图片中的第i帧图片，确定所述第i帧图片与第i-1帧图片之间的光流图，i∈[2，N]中的任意一个整数。

7.根据权利要求5所述的方法，其特征在于，在所述每帧图片的显示内容特征包括M个概率值的情况下，

所述将所述N帧图片的显示内容特征分别对应的特征向量在垂直于所述第一方向的方向上进行拼接之前，所述方法还包括：

对于所述N帧图片中的任意一帧目标图片，将所述目标图片的M个概率值在所述第一方向上排列得到的向量确定为所述目标图片对应的特征向量。