[发明专利]视频语义表示方法、装置、电子设备和存储介质

说明书

本发明提供一种视频语义表示方法、装置、电子设备和存储介质，其中方法包括：获取待表示视频的视频文本信息和多个视频帧；分别利用视频语义表示模型的文本编码器和图片编码器对视频文本信息和多个视频帧进行语义提取，得到视频文本信息的语义向量和多个视频帧的帧语义向量；利用视频语义表示模型的多模态融合器，对文本语义向量和多个视频帧的帧语义向量进行多模态融合，得到待表示视频的视频语义表示；其中，视频语义表示模型是基于样本视频的样本文本信息和多个样本视频帧进行自监督学习得到的，视频语义表示模型的图片编码器和文本编码器是基于样本图片以及样本图片的描述文本预先进行联合训练得到的。本发明提高了视频语义表示的精确性。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种视频语义表示方法、装置、电子设备和存储介质。

背景技术

随着网络技术的发展，视频作为一种信息载体，丰富了人们的娱乐、学习等日常生活。相关技术中，需要生成视频的表示来区分不同的视频，比如视频检索应用场景下，可基于视频表示从视频库中检索视频，或是在视频推荐应用场景下，根据用户历史观看的视频的视频表示从视频库中检索相关的视频。

目前，通常的视频语义表示方法通常是基于样本视频和样本视频的标签进行有监督训练得到视频表示模型后，利用视频表示模型提取得到的。然而，目前业务场景中大量用户上传的视频没有经过人工标注相关标签数据，无法直接用来进行有监督训练以生成有意义的视频语义表示。此外，虽然视频由视频帧序列组合而成，且现有的部分无监督方式的图像语义表示模型或是图文多模态融合模型可以提取图像语义或将图像的语义和文本语义相融合，但由于视频的数据分布与图像之间存在差别，且视频的视频帧之间存在大量相关联的语义信息，而单纯的图像语义表示模型或图文多模态融合模型多用于提取单个图像的语义，难以处理多个相关联的视频帧，因此直接利用上述模型提取视频语义的效果欠佳。

发明内容

本发明提供一种视频语义表示方法、装置、电子设备和存储介质，用以解决现有技术中视频语义提取模型难以在人工标注标签数量较少的场景下使用、视频语义提取效果欠佳的缺陷。

本发明提供一种视频语义表示方法，包括：

获取待表示视频的视频文本信息和多个视频帧；

分别利用视频语义表示模型的文本编码器和图片编码器对所述视频文本信息和所述多个视频帧进行语义提取，得到所述视频文本信息的文本语义向量和所述多个视频帧的帧语义向量；

利用所述视频语义表示模型的多模态融合器，对所述文本语义向量和所述多个视频帧的帧语义向量进行多模态融合，得到所述待表示视频的视频语义表示；

其中，所述视频语义表示模型是基于样本视频的样本文本信息和多个样本视频帧进行自监督学习得到的，所述视频语义表示模型的图片编码器和文本编码器是基于样本图片以及所述样本图片的描述文本预先进行联合训练得到的。

根据本发明提供的一种视频语义表示方法，所述利用所述视频语义表示模型的多模态融合器，对所述文本语义向量和所述多个视频帧的帧语义向量进行多模态融合，得到所述待表示视频的视频语义表示，具体包括：

对所述多个视频帧的帧语义向量进行语义融合，得到帧融合向量；

对所述文本语义向量和所述帧融合向量进行多模态融合，得到所述待表示视频的视频语义表示。

根据本发明提供的一种视频语义表示方法，所述对所述文本语义向量和所述帧融合向量进行多模态融合，得到所述待表示视频的视频语义表示，具体包括：

基于所述文本语义向量的自相关性，以及所述文本语义向量和所述帧融合向量之间的互相关性，提取所述文本语义向量的文本关键语义向量以及所述帧融合向量的帧关键语义向量；

将所述文本关键语义向量和所述帧关键语义向量进行语义融合，得到所述待表示视频的视频语义表示。