[发明专利]视频推荐方法、装置、电子设备及存储介质

权利要求书

1.一种视频推荐方法，其特征在于，该方法包括：

获得输入的查询信息，并确定与所述查询信息相匹配的至少两个视频；

基于所述查询信息的文本特征和所述至少两个视频各自对应的视觉特征，分别获得所述至少两个视频各自与所述查询信息的相似度，其中，每个视频的视觉特征至少是基于相应视频的动态特征得到的，所述动态特征是基于连续视频帧内的至少一个对象的运动状态获得的；

基于所述至少两个视频各自与所述查询信息的相似度，对所述至少两个视频进行排序，得到视频排序结果。

2.如权利要求1所述的方法，其特征在于，所述基于所述查询信息的文本特征和所述至少两个视频各自对应的视觉特征，分别获得所述至少两个视频各自与所述查询信息的相似度，其中，在确定每个视频的相似度时，执行以下操作：

对所述查询信息进行特征提取，得到对应的文本特征，以及对一个视频进行特征提取，得到对应的视觉特征；

根据所述文本特征的第一注意力权重，确定所述文本特征的第一上下文关联特征，以及根据所述视觉特征的第二注意力权重，确定所述视觉特征的第二上下文关联特征；其中，所述文本特征的第一注意力权重表征所述文本特征与第一拼接矩阵中各个特征的关联程度，所述视觉特征的第二注意力权重表征所述视觉特征与所述第一拼接矩阵中各个特征的关联程度，所述第一拼接矩阵是将所述文本特征和所述视觉特征拼接得到的；

基于所述第一上下文关联特征和所述第二上下文关联特征，确定所述相似度。

3.如权利要求2所述的方法，其特征在于，所述对所述查询信息进行特征提取，得到对应的文本特征，包括：

对所述查询信息进行分词，得到初始字序列；

在所述字序列的首部添加分类字，以及在所述字序列的尾部添加分割字，形成目标字序列；

对所述目标字序列进行向量化处理，得到所述目标字序列中每个字的字向量；

根据各个字向量的第三注意力权重，分别确定所述各个字向量对应的所述文本子特征，将各个文本子特征进行拼接得到所述文本特征；其中，每个字向量的第三注意力权重表征相应的一个字向量与其他各个字向量的关联程度。

4.如权利要求2所述的方法，其特征在于，所述对所述一个视频进行特征提取，得到对应的视觉特征，包括：

对所述一个视频进行特征提取，得到所述一个视频中每个视频帧的图像特征以及所述动态特征；

分别根据所述动态特征的第四注意力权重和各个图像特征的第五注意力权重，确定所述动态特征和所述各个图像特征各自对应的视觉子特征，将各个视觉子特征进行拼接得到所述视觉特征；其中，所述第四注意力权重表征所述动态特征对第二拼接矩阵中各个特征的关联程度，每个图像特征的第五注意力权重表征相应的一个图像特征对所述第二拼接矩阵中各个特征的关联程度，所述第二拼接矩阵是将所述动态特征和所述各个图像特征拼接得到的。

5.如权利要求4所述的方法，其特征在于，所述对所述一个视频进行特征提取，得到所述一个视频中每个视频帧的图像特征，以及所述动态特征，包括：

将所述一个视频的每个视频帧输入图像特征提取子模型中，分别对所述每个视频帧进行卷积处理，得到所述每个视频帧各自对应的图像特征；以及，

将所述一个视频输入动态特征提取子模型的特征提取层中进行卷积处理，确定所述一个视频中连续视频帧内至少一个对象的运动状态，并根据所述至少一个对象的运动状态，获得所述一个视频的动态特征。

6.如权利要求2所述的方法，其特征在于，根据所述文本特征的第一注意力权重，确定所述文本特征的第一上下文关联特征，包括:

根据所述第一拼接矩阵和预设的多个权重矩阵，分别获得所述第一拼接矩阵的查询向量、所述第一拼接矩阵的键向量和所述第一拼接矩阵的值向量，其中，所述第一拼接矩阵的查询向量包括所述文本特征中各个文本子特征的查询向量；

根据获得的所述各个文本子特征的查询向量和所述第一拼接矩阵的键向量，分别得到所述各个文本子特征的第六注意力权重，并将所述各个文本子特征的第六注意力权重进行拼接，得到所述文本特征的第一注意力权重；

根据获得的所述文本特征的第一注意力权重和所述第一拼接矩阵的值向量，得到所述文本特征的第一上下文关联特征。