[发明专利]跨模态的视频文本匹配方法、装置、电子设备及存储介质

权利要求书

1.一种跨模态的视频文本匹配方法，包括：

将目标文本输入预训练的匹配模型，提取目标文本特征以生成目标文本特征序列；

将候选视频输入所述匹配模型，提取候选图像特征以生成候选图像特征序列；

确定所述目标文本特征序列中目标文本特征和所述候选图像特征序列中候选图像特征的相似度，根据所述相似度从所述候选视频中确定推荐视频；

所述匹配模型是通过以下方法训练得到的：

获取正例文本训练数据和所述正例文本训练数据对应的视频训练数据；

根据所述正例文本训练数据生成负例文本训练数据；

提取所述正例文本训练数据对应的第一文本特征，提取所述负例文本训练数据对应的第二文本特征，并根据所述视频训练数据提取第一图像特征；

计算所述第一图像特征和所述第一文本特征之间的第一相似度，并计算所述第一图像特征和第二文本特征之间的第二相似度；

根据所述第一相似度和第二相似度计算损失函数，以所述损失函数收敛为目标，训练所述匹配模型，以获取训练完成的匹配模型；

所述根据所述正例文本训练数据生成负例文本训练数据，包括：

获取所述正例文本训练数据的事件类型，通过更换所述正例文本训练数据的事件类型生成所述负例文本训练数据；或，

将所述正例文本训练数据中的多个事件对象调整位置，以生成所述负例文本训练数据。

2.根据权利要求1所述的方法，其中，所述将目标文本输入预训练的匹配模型，提取目标文本特征以生成目标文本特征序列，包括：

将所述目标文本切分为文本段，以生成目标文本段序列；

提取各个文本段对应的文本段特征向量，并根据所述文本段在所述目标文本段序列中的位置生成各个文本段的第一位置嵌入向量；

将所述文本段特征向量和所述第一位置嵌入向量相加后进行编码以生成目标文本特征，并根据所述目标文本特征生成所述目标文本特征序列。

3.根据权利要求1所述的方法，其中，所述将候选视频输入所述匹配模型，提取候选图像特征以生成候选图像特征序列，包括：

按预设的采样率从所述候选视频提取视频帧，以生成候选视频帧序列；

提取所述视频帧的表示向量，并根据所述视频帧在所述候选视频帧序列的位置生成位置特征向量；

将所述表示向量和所述位置特征向量相加后进行编码以生成所述候选图像特征，并根据所述候选图像特征生成所述候选图像特征序列。

4.根据权利要求1所述的方法，其中，所述确定所述目标文本特征序列中目标文本特征和所述候选图像特征序列中候选图像特征的相似度，包括：

将所述候选图像特征序列和所述目标文本特征序列中位置对应的候选图像特征和目标文本特征之间的余弦距离作为所述相似度。

5.根据权利要求4所述的方法，其中，所述根据所述相似度从所述候选视频中确定推荐视频，包括：

将相似度最高值对应的候选视频确定为所述推荐视频。

6.一种匹配模型训练方法，包括：

获取正例文本训练数据和所述正例文本训练数据对应的视频训练数据；

根据所述正例文本训练数据生成负例文本训练数据；

提取所述正例文本训练数据对应的第一文本特征，提取所述负例文本训练数据对应的第二文本特征，并根据所述视频训练数据提取第一图像特征；

计算所述第一图像特征和所述第一文本特征之间的第一相似度，并计算所述第一图像特征和第二文本特征之间的第二相似度；

根据所述第一相似度和第二相似度计算损失函数，以所述损失函数收敛为目标，训练所述匹配模型，以获取训练完成的匹配模型；

所述根据所述正例文本训练数据生成负例文本训练数据，包括：

获取所述正例文本训练数据的事件类型，通过更换所述正例文本训练数据的事件类型生成所述负例文本训练数据；或，

将所述正例文本训练数据中的多个事件对象调整位置，以生成所述负例文本训练数据。