[发明专利]一种视频表征方法、视频分类方法、电子设备及存储介质

说明书

本发明公开了一种视频表征方法、视频分类方法、电子设备及存储介质，所述视频表征方法包括：获取待表征视频的关键帧和视频片段，其中，所述关键帧和所述视频片段的数量均为一个或多个；基于所述关键帧生成对应的帧向量，根据所述帧向量生成全局特征信息；基于所述视频片段生成对应的视频片段向量，根据所述视频片段向量生成局部特征信息；构建所述帧向量和所述视频片段向量的图结构特征；将所述全局特征信息、所述局部特征信息及所述图结构特征融合，得到所述待表征视频的视频特征表示。本发明可提高视频表征的准确性。

技术领域

本发明涉及基于深度学习的图像处理技术领域，具体涉及一种视频表征方法、视频分类方法、电子设备及存储介质。

背景技术

随着互联网的快速发展，一系列互联网技术对人们的生活产生了重要的影响。特别是随着互联网宽带的提升，5G网络的普及，视频逐渐成为用户传播信息的重要载体。同时，随着短视频、直播等新媒体越来越活跃，也产生了海量的视频信息。如何对这些视频进行分类，对于有效管理用户视频，是非常必要且有挑战性的。

在视频分类任务中，如何准确有效地表征视频，是进行准确视频分类的关键。现有技术中存在基于关键帧的视频分类方法，顾名思义，其从视频的关键帧中获得视频的有效表征，通过将连续的视频帧序列进行采样，获取若干个具有代表性的视频帧，然后利用这些视频帧进行分类。该视频分类方法处理速度快，但是分类效果一般，因为它只需要处理部分视频帧，然而，视频往往承载复杂的内容，如果仅仅考虑部分视频帧信息，不能准确理解视频内容。

发明内容

本发明解决的问题是现有的视频表征方法存在表征准确性不高的缺点。

本发明提出一种视频表征方法，包括：

获取待表征视频的关键帧和视频片段，其中，所述关键帧和所述视频片段的数量均为一个或多个；

基于所述关键帧生成对应的帧向量，根据所述帧向量生成全局特征信息；

基于所述视频片段生成对应的视频片段向量，根据所述视频片段向量生成局部特征信息；

构建所述帧向量和所述视频片段向量的图结构特征；

将所述全局特征信息、所述局部特征信息及所述图结构特征融合，得到所述待表征视频的视频特征表示。

可选地，所述全局特征信息采用基于时空分离Transformer网络生成，所述基于时空分离Transformer网络包括第一时序Transformer模块和多个空间Transformer模块；所述基于所述关键帧生成对应的帧向量，根据所述帧向量生成全局特征信息包括：

将每个所述关键帧切分成多个图像子块，再将每个所述关键帧的图像子块输入所述关键帧对应的所述空间Transformer模块，得到每个所述关键帧对应的帧向量；

将所有所述帧向量输入所述第一时序Transformer模块，得到所述全局特征信息。

可选地，所述局部特征信息采用预设视频提取网络生成，所述预设视频提取网络包括第二时序Transformer模块和基于光流网络的初级特征提取模块；所述基于所述视频片段生成对应的视频片段向量，根据所述视频片段向量生成局部特征信息包括：

将每个所述视频片段输入所述初级特征提取模块，得到每个所述视频片段对应的视频片段向量；

将所有所述视频片段向量输入所述第二时序Transformer模块，得到所述局部特征信息。

可选地，所述获取待表征视频的关键帧和视频片段包括：

获取所述待表征视频的关键帧；

根据所述关键帧从所述待表征视频中获得所述视频片段。