[发明专利]一种视频表征方法、视频分类方法、电子设备及存储介质

权利要求书

1.一种视频表征方法，其特征在于，包括：

获取待表征视频的关键帧和视频片段，其中，所述关键帧和所述视频片段的数量均为一个或多个；

基于所述关键帧生成对应的帧向量，根据所述帧向量生成全局特征信息；

基于所述视频片段生成对应的视频片段向量，根据所述视频片段向量生成局部特征信息；

构建所述帧向量和所述视频片段向量的图结构特征；

将所述全局特征信息、所述局部特征信息及所述图结构特征融合，得到所述待表征视频的视频特征表示。

2.如权利要求1所述的视频表征方法，其特征在于，所述全局特征信息采用基于时空分离Transformer网络生成，所述基于时空分离Transformer网络包括第一时序Transformer模块和多个空间Transformer模块；所述基于所述关键帧生成对应的帧向量，根据所述帧向量生成全局特征信息包括：

将每个所述关键帧切分成多个图像子块，再将每个所述关键帧的图像子块输入所述关键帧对应的所述空间Transformer模块，得到每个所述关键帧对应的帧向量；

将所有所述帧向量输入所述第一时序Transformer模块，得到所述全局特征信息。

3.如权利要求1所述的视频表征方法，其特征在于，所述局部特征信息采用预设视频提取网络生成，所述预设视频提取网络包括第二时序Transformer模块和基于光流网络的初级特征提取模块；所述基于所述视频片段生成对应的视频片段向量，根据所述视频片段向量生成局部特征信息包括：

将每个所述视频片段输入所述初级特征提取模块，得到每个所述视频片段对应的视频片段向量；

将所有所述视频片段向量输入所述第二时序Transformer模块，得到所述局部特征信息。

4.如权利要求1所述的视频表征方法，其特征在于，所述获取待表征视频的关键帧和视频片段包括：

获取所述待表征视频的关键帧；

根据所述关键帧从所述待表征视频中获得所述视频片段。

5.如权利要求1所述的视频表征方法，其特征在于，所述构建所述帧向量和所述视频片段向量的图结构特征包括：

将每个特征向量视为顶点，每个所述特征向量之间的相似度作为边，构建第一全连接图；其中，所述特征向量为所述帧向量和所述视频片段向量中的一者；

根据所述第一全连接图中的每个顶点和其连接的所有顶点及边，生成每个顶点对应的融合特征；

利用图注意力机制，获取每个顶点的权重，将每个顶点的权重与对应的融合特征相乘并累加，得到所述特征向量的所述图结构特征。

6.如权利要求1所述的视频表征方法，其特征在于，所述关键帧与所述视频片段具有一一对应关系；所述构建所述帧向量和所述视频片段向量的图结构特征包括：

将每个所述帧向量视为顶点，每个所述帧向量之间的相似度作为第一边，每个所述视频片段向量之间的相似度作为第二边，构建第二全连接图；

根据所述第二全连接图中的每个顶点和其连接的所有顶点及边，生成每个顶点对应的融合特征；

利用图注意力机制，获取每个顶点的权重，将每个顶点的权重与对应的融合特征相乘并累加，得到所述帧向量和所述视频片段向量的图结构特征。

7.如权利要求1所述的视频表征方法，其特征在于，所述将所述全局特征信息、所述局部特征信息及所述图结构特征融合，得到所述待表征视频的视频特征表示包括：

将所述全局特征信息、所述局部特征信息及所述图结构特征进行拼接，再利用注意力机制，获取所述全局特征信息、所述局部特征信息及所述图结构特征的动态权重；

将所述全局特征信息、所述局部特征信息及所述图结构特征和所述动态权重分别进行相乘，获取所述待表征视频的视频特征表示。

8.一种视频分类方法，其特征在于，包括：

获取待分类视频；

采用如权利要求1至7中任一项所述的视频表征方法对所述待分类视频进行表征，生成所述待分类视频的视频特征表示；

基于所述待分类视频的视频特征表示对所述待分类视频进行分类。