[发明专利]一种内容检索方法、装置和计算机可读存储介质

权利要求书

1.一种内容检索方法，其特征在于，包括：

获取用于检索目标内容的待检索内容；

当所述待检索内容为视频内容时，对所述视频内容进行多模态特征提取，得到每一模态的模态特征；

分别对每一模态的模态特征进行特征提取，得到每一模态的模态内容特征；

将所述模态内容特征进行融合，得到所述视频内容的视频特征，并根据所述视频特征，在预设内容集合中检索出所述视频内容对应的目标文本内容。

2.根据权利要求1所述的内容检索方法，其特征在于，所述对所述视频内容进行多模态特征提取，得到每一模态的模态特征，包括：

采用训练后内容检索模型对所述视频内容进行多模态特征提取，得到所述视频内容中每一模态的初始模态特征；

在所述视频内容中提取出视频帧，并采用所述训练后内容检索模型对所述视频帧进行多模态特征提取，得到每一视频帧的基础模态特征；

在所述基础模态特征中筛选出每一模态对应的目标模态特征，并将所述目标模态特征和对应的初始模态特征进行融合，得到每一模态的视频内容对应的模态特征。

3.根据权利要求2所述的内容检索方法，其特征在于，所述分别对每一模态的模态特征进行特征提取，得到每一模态的模态视频特征，包括：

在所述训练后内容检索模型的视频特征提取网络中识别出每一模态对应的目标视频特征提取网络；

采用所述目标视频特征提取网络对所述模态特征进行特征提取，得到每一模态的模态视频特征。

4.根据权利要求2所述的内容检索方法，其特征在于，所述采用训练后内容检索模型对所述视频内容进行多模态特征提取，得到所述视频内容中每一模态的初始模特特征之前，还包括：

获取内容样本集合，所述内容样本集合包括视频样本和文本样本，所述文本样本包括至少一个文本词；

采用预设内容检索模型对所述视频样本进行多模态特征提取，得到每一模态的样本模态特征；

分别对每一模态的样本模态特征进行特征提取，得到所述视频样本的样本模态内容特征，并将所述样本模态内容特征进行融合，得到所述视频样本的样本视频特征；

对所述文本样本进行特征提取，得到样本文本特征和每一文本词对应的文本词特征，并根据所述样本模态内容特征、样本视频特征、样本文本特征和文本词特征，对所述预设内容检索模型进行收敛，得到所述训练后内容检索模型。

5.根据权利要求4所述的内容检索方法，其特征在于，所述根据所述样本模态内容特征、样本视频特征、样本文本特征和文本词特征，对所述预设内容检索模型进行收敛，得到所述训练后内容检索模型，包括：

根据所述样本模态内容特征和文本词特征，确定所述内容样本集合的特征损失信息；

基于所述样本视频特征和样本文本特征，确定所述内容样本集合的内容损失信息；

将所述特征损失信息和内容损失信息进行融合，并基于融合后损失信息，对预设内容检索模型进行收敛，得到训练后内容检索模型。

6.根据权利要求5所述的内容检索方法，其特征在于，所述根据所述样本模态内容特征和文本词特征，确定所述内容样本集合的特征损失信息，包括：

计算所述样本模态内容特征和文本词特征之间的特征相似度，得到第一特征相似度；

根据所述第一特征相似度，确定所述视频样本和文本样本之间的样本相似度；

基于所述样本相似度，计算所述视频样本与文本样本之间的特征距离，以得到所述内容样本集合的特征损失信息。

7.根据权利要求6所述的内容检索方法，其特征在于，所述根据所述第一特征相似度，确定所述视频样本和文本样本之间的样本相似度，包括：

根据所述第一特征相似度，将所述样本模态内容特征与文本词特征进行特征交互，得到交互后视频特征和交互后文本词特征；

计算所述交互后视频特征与交互后文本词特征之间的特征相似度，得到第二特征相似度；

将所述第二特征相似度进行融合，得到所述视频样本和文本样本之间的样本相似度。