[发明专利]一种内容检索方法、装置和计算机可读存储介质

说明书

本发明实施例公开了一种内容检索方法、装置和计算机可读存储介质；本发明实施例在获取用于检索目标内容的待检索内容后，当待检索内容为视频内容时，对视频内容进行多模态特征提取，得到每一模态的模态特征，分别对每一模态的模态特征进行特征提取，得到每一模态的模态内容特征，将模态内容特征进行融合，得到视频内容的视频特征，并根据视频特征，在预设内容集合中检索出视频内容对应的目标文本内容；该方案可以提升内容检索的准确率。

技术领域

本发明涉及通信技术领域，具体涉及一种内容检索方法、装置和计算机可读存储介质。

背景技术

近年来，互联网上产生了海量的内容，这些内容可以包括多种类型，比如，可以包括文本和视频等。为了更好的在海量内容中检索出需要的内容，通常可以通过一种类型的内容检索出与之匹配的另一种类型的内容，比如，可以通过用户提供的视频内容检索出与之匹配的文本内容。现有的内容检索往往是采用特征提取网络直接提取出视频特征和文本特征进行特征匹配来完成内容检索。

在对现有技术的研究和实践过程中，本发明的发明人发现，由于视频包含多种模态和复杂的语义，采用单一的特征提取网络提取出的视频特征的准确性不足，使的无法与文本语义一一对应，因此，导致内容检索的准确率不足。

发明内容

本发明实施例提供一种内容检索方法、装置和计算机可读存储介质，可以提高内容检索的准确率。

一种内容检索方法，包括：

获取用于检索目标内容的待检索内容；

当所述待检索内容为视频内容时，对所述视频内容进行多模态特征提取，得到每一模态的模态特征；

分别对每一模态的模态特征进行特征提取，得到每一模态的模态内容特征；

将所述模态内容特征进行融合，得到所述视频内容的视频特征，并根据所述视频特征，在预设内容集合中检索出所述视频内容对应的目标文本内容。

相应的，本发明实施例提供一种内容检索装置，包括：

获取单元，用于获取用于检索目标内容的待检索内容；

第一提取单元，用于当所述待检索内容为视频内容时，对所述视频内容进行多模态特征提取，得到每一模态的模态特征；

第二提取单元，用于分别对每一模态的模态特征进行特征提取，得到每一模态的模态视频特征；

文本检索单元，用于将所述模态视频特征进行融合，得到所述视频内容的视频特征，并根据所述视频特征，在所述预设内容集合中检索出所述视频内容对应的目标文本内容。

可选的，在一些实施例中，所述第一提取单元，具体可以用于采用训练后内容检索模型对所述视频内容进行多模态特征提取，得到所述视频内容中每一模态的初始模态特征；在所述视频内容中提取出视频帧，并采用所述训练后内容检索模型对所述视频帧进行多模态特征提取，得到每一视频帧的基础模态特征；在所述基础模态特征中筛选出每一模态对应的目标模态特征，并将所述目标模态特征和对应的初始模态特征进行融合，得到每一模态的视频内容的模态特征。

可选的，在一些实施例中，所述第二提取单元，具体可以用于在所述训练后内容检索模型的视频特征提取网络中识别出每一模态对应的目标视频特征提取网络；采用所述目标视频特征提取网络对所述模态特征进行特征提取，得到每一模态的模态视频特征。