[发明专利]视频检索方法、装置、电子设备及计算机可读存储介质

说明书

本发明提供了一种视频检索方法、装置、电子设备及计算机可读存储介质，涉及数据处理技术领域，在进行视频检索时，先获取检索内容，该检索内容的类型包括语音或文本；根据预训练的文本特征编码器，将检索内容转换为查询向量；根据查询向量和检索库中各个视频的视觉特征向量，确定与检索内容匹配的目标视频；其中，视觉特征向量是通过自监督预训练的视觉编码器对检索库中的相应视频进行特征提取得到的。这样实现了用户基于对待搜索视频的内容猜想或记忆，利用语音或文本描述快速、准确地检索出匹配的视频，与现有的基于人工文本标注的视频检索方式相比，提高了准确度和工作效率，降低了成本，增强了用户体验。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种视频检索方法、装置、电子设备及计算机可读存储介质。

背景技术

近年来，国内视频行业呈现爆发式增长，视频正逐渐成为人们娱乐、学习和社交活动的重要方式。在线上教育、视频分享平台中教育培训类视频有相当大的占比，对于平台方来讲，如何针对用户学习意图在海量的视频数据中以更便捷的方式，快速、精准的检索出相关视频并推荐给用户，成为内容变现的重要指标之一。

传统的视频检索方式中，对视频帧图像进行人工文本标注，利用文本标注的方式根据视频帧图像的内容对视频数据进行描述，从而形成描述视频内容的视频标签；进行检索时，用户根据自己的兴趣提供关键字，数据库通过匹配视频标签和关键字来返回检索结果。然而这种检索方式存在如下缺点：第一是标注主要通过人工处理，因此受标注者的主观因素的影响很大，这可能会造成对同一个视频有不同的描述；第二是文字描述是一种对视频场景内容的固定的抽象，所以特定的视频标签只适合特定的检索；第三是视频数据量很大，用手工方式添加注释工作量很大，尤其是对于今天日益增长的视频数量，成本很高而且工作效率很低。

综上可知，现有的视频检索方式存在准确度低、成本高以及工作效率低的问题，用户体验较差。

发明内容

本发明的目的在于提供一种视频检索方法、装置、电子设备及计算机可读存储介质，以提高准确度和工作效率，降低成本，增强用户体验。

第一方面，本发明实施例提供了一种视频检索方法，包括：

获取检索内容，所述检索内容的类型包括语音或文本；

根据预训练的文本特征编码器，将所述检索内容转换为查询向量；

根据所述查询向量和检索库中各个视频的视觉特征向量，确定与所述检索内容匹配的目标视频；其中，所述视觉特征向量是通过自监督预训练的视觉编码器对所述检索库中的相应视频进行特征提取得到的。

进一步地，所述根据预训练的文本特征编码器，将所述检索内容转换为查询向量的步骤，包括：

当所述检索内容的类型为语音时，将所述检索内容转换为文本形式，得到检索文本；

将所述检索文本输入到预训练的文本特征编码器中，得到所述文本特征编码器输出的查询向量。

进一步地，所述根据所述查询向量和检索库中各个视频的视觉特征向量，确定与所述检索内容匹配的目标视频的步骤，包括：

分别计算所述查询向量与检索库中每个视频的视觉特征向量的余弦相似性，得到所述检索内容与每个所述视频的相似性值；

根据所述检索内容与每个所述视频的相似性值，确定与所述检索内容匹配的目标视频。

进一步地，所述方法还包括：

获取训练样本，所述训练样本包括一个批次的视频数据和至少一条文本数据；

对于每条所述视频数据和每条所述文本数据，将所述视频数据和所述文本数据分别输入视觉编码器网络和文本编码器网络，得到与所述视频数据对应的第一特征向量和与所述文本数据对应的第二特征向量；