[发明专利]视频文本跨模态检索方法、装置、存储介质和设备

权利要求书

1.一种视频文本跨模态检索方法，其特征在于，所述方法包括：

获取训练样本集，所述训练样本集包括成对标注的视频和文本；

对所述视频进行分帧处理，并提取帧特征；

对所述文本进行分词处理并提取词特征，所述词特征包括至少两类词性特征；

利用所述帧特征和至少两种词性特征对预训练的跨模态检索模型进行训练，获得训练好的跨模态检索模型；

将待测视频和文本输入所述训练好的跨模态检索模型中进行视频和文本的跨模态检索。

2.根据权利要求1所述的视频文本跨模态检索方法，其特征在于，对所述视频进行分帧处理并提取帧特征包括：

利用分帧工具依次对每一段视频进行分帧处理，获得帧序列，将所述帧序列均匀划分为时长相等的预设段，提取每段的第一帧，获得预设帧；

运用卷积神经网络ResNet提取所述预设帧的帧特征。

3.根据权利要求1所述的视频文本跨模态检索方法，其特征在于，对所述文本进行分词处理并提取词特征，所述词特征包括至少两种词性特征包括：

利用分词工具依次对每一条文本进行分词；

利用Simple-bert语义角色标注工具对每个词的词性进行分类；

利用全局词频统计词表征工具和门控循环单元词特征提取工具提取词特征，所述词特征包括至少两类种词性特征。

4.根据权利要求1所述的视频文本跨模态检索方法，其特征在于，所述词性特征包括第一词性特征和第二词性特征，所述利用所述帧特征和至少两种词性特征对预训练的跨模态检索模型进行训练，获得训练好的跨模态检索模型包括：

将所述帧特征与所述第一词性特征进行空间维度特征匹配，获得空间维度特征匹配结果；

计算所有帧特征之间的帧间特征关联度，及第一词性特征和第二词性特征之间的词性间特征关联度，将所述帧间特征关联度与所述词性间特征关联度进行时间维度特征匹配，获得时间维度特征匹配结果；

对所述空间维度特征匹配结果和所述时间维度特征匹配结果进行融合，获得联合空间时间维度特征匹配结果；

将所述联合空间时间维度特征匹配结果作为正则项与对比排序损失函数进行数学运算获得损失函数；

利用反向梯度传播法对所述预训练的视频文本跨模态模型的参数进行训练，直至所述损失函数实现收敛。

5.根据权利要求4所述的视频文本跨模态检索方法，其特征在于，获取训练样本集之后，对所述视频进行分帧处理，并提取帧特征之前，所述方法还包括：

获取验证样本集；

将所述训练数据集中的视频和文本分别写入到以视频和文本序列号名称作为查询键的字典文件中。

6.根据权利要求5所述的视频文本跨模态检索方法，其特征在于，对各所述字典文件中序列号名称对应的视频进行分帧处理，各所述字典文件中序列号名称对应的文本进行分词处理。

7.根据权利要求5所述的视频文本跨模态检索方法，其特征在于，所述损失函数实现收敛后，所述方法还包括：

将所述验证样本集中的每一段视频输入所述训练好的跨模态检索模型中；

计算所述训练好的跨模态检索模型搜索到的前预设数目个搜索结果中出现正确样本占验证样本集中总样本数的比例，得到第一检索准确率结果；

将所述第一检索准确率结果与仅利用对比排序损失函数作为损失函数进行训练的跨模态检索模型时获取的第二检索准确率结果进行性能增益的判定；

当所述第一检索准确率结果与所述第二检索准确率结果相比存在性能增益时，确定跨模态检索模型训练正确。