[发明专利]视频文本跨模态检索方法、装置、存储介质和设备

说明书

本发明实施例提供视频文本跨模态检索的方法、存储介质和电子装置，所述方法包括：获取训练样本集，其包括成对标注的视频和文本，对视频进行分帧处理并提取帧特征，对文本进行分词处理并提取词特征，所述词特征包括至少两类词性特征，利用帧特征和至少两种词性特征对预训练的跨模态检索模型进行训练，获得训练好的跨模态检索模型，将待测视频和文本输入训练好的跨模态检索模型中进行视频和文本的跨模态检索。本发明细化了视频文本跨模态特征匹配粒度，增强了视频文本跨模态特征匹配过程的可解释性，提高了视频文本跨模态检索的准确率。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种视频文本跨模态检索方法、装置、存储介质和设备。

背景技术

随着移动设备的智能化、便携化以及在线视频平台的蓬勃发展，大量的互联网用户选择通过视频媒介进行信息的共享和传播。在这一趋势下，当前广泛使用的基于文本标题的视频检索方式存在人工标注成本高昂且效率低下，同时文本标题无法对视频中的语义内容全面涵盖等问题，难以有效满足日益增长的海量视频数据管理和分析需求。

视频文本跨模态检索旨在通过语义内容的表征相似性完成实现。具体而言，该检索范式允许查询输入和候选对象为视频和文本其中一种模态数据，将视频和文本进行向量化表示后，计算跨模态向量相似度并排序实现对另一模态数据的检索。由于视频文本跨模态检索是在视频内容理解的基础上实现的语义内容检索，极大的解放了繁重的人工标注劳动，有效的提高了海量视频的智能处理能力。同时该检索方式拓宽了查询输入的模态限制，解决了基于文本标题的视频检索方式中只能使用文本作为查询输入的局限性，满足了用户个性化的检索需求。

现有的关于视频文本跨模态检索的方法主要分为两类。第一类方法将视频和文本均表示为单一特征向量，通过直接计算单一特征向量间的余弦相似度完成检索。然而此类方法将视频和文本表示为紧致的固定维度向量，难以进行关于语义的细粒度特征匹配，降低了检索准确率。第二类方法将视频和文本表示为序列化的帧特征和词特征，通过注意力机制对序列化的帧特征间的余弦相似度加权得到最终结果。但是此类方法忽略了视频和文本关于语义内容在空间和时间维度上的表征方式差异，无法构建与之适应的特征匹配策略，成为了提高检索准确率的瓶颈。

发明内容

本发明提供的视频文本跨模态检索方法、装置、存储介质和设备，通过挖掘视频和文本关于语义内容表征方式的差异性，提高的了视频文本跨模态检索过程中的细粒度、强可解释性和高准确率。

第一方面，本发明实施例提供一种视频文本跨模态检索方法，所述方法包括：

获取训练样本集，所述训练样本集包括成对标注的视频和文本；

对所述视频进行分帧处理，并提取帧特征；

对所述文本进行分词处理并提取词特征，所述词特征包括至少两类词性特征；

利用所述帧特征和至少两种词性特征对预训练的跨模态检索模型进行训练，获得训练好的跨模态检索模型；

将待测视频和文本输入所述训练好的跨模态检索模型中进行视频和文本的跨模态检索。

进一步地，对所述视频进行分帧处理并提取帧特征包括：

利用分帧工具依次对每一段视频进行分帧处理，获得帧序列，将所述帧序列均匀划分为时长相等的预设段，提取每段的第一帧，获得预设帧；

运用卷积神经网络ResNet提取所述预设帧的帧特征。

进一步地，对所述文本进行分词处理并提取词特征，所述词特征包括至少两种词性特征包括：

利用分词工具依次对每一条文本进行分词；

利用Simple-bert语义角色标注工具对每个词的词性进行分类；