[发明专利]用于提取视频特征向量的方法和装置

说明书

本申请实施例公开了用于提取视频特征向量的方法和装置。该方法的一具体实施方式包括：从目标视频中采集多个视频片段，每个视频片段包括一个视频帧序列；对于每一个视频片段，基于该视频片段对应的视频帧序列生成该视频片段的组合图，组合图的各像素的像素值存储于三维数组中；将各视频片段分别对应的三维数组输入到预先训练的视频特征提取模型，得到目标视频的特征向量。该实施方式所得到的视频的特征向量同时蕴含了目标视频的空间信息以及视频对象在时间跨度上的行为信息，有利于提高使用视频的特征向量分析视频内容所属类别的准确率。

技术领域

本申请实施例涉及计算机技术领域，具体涉及视频处理技术领域，尤其涉及用于提取视频特征向量的方法和装置。

背景技术

随着信息技术的发展，数字视频的传输速率越来越高。作为信息的一种载体，视频也逐渐在多媒体数据中广泛流行。尤其是随着自媒体的发展，越来越多的视频通过互联网进行传播。

通常，在将视频通过互联网进行传播之前，需要对视频内容进行分析，确定视频所属的类别，以便对视频进行管理和进一步传播。

发明内容

本申请实施例提出了一种用于提取视频特征向量的方法和装置。

第一方面，本申请实施例提供了一种用于提取视频特征向量的方法，该方法包括：从目标视频中采集多个视频片段，每个视频片段包括一个视频帧序列；对于每一个视频片段，基于该视频片段对应的视频帧序列生成该视频片段的组合图，组合图的各像素的像素值存储于三维数组中；其中，三维数组包括行、列、页，三维数组的行、列的数量分别与该视频帧序列中的任意视频帧所包括的像素的行数、列数相同，三维数组的页数与该视频帧序列所包括的视频帧的数量相同，视频帧序列的每一个视频帧中，处于同一位置的像素的像素值存储于三维数组的每一页中的相同的位置；将各视频片段分别对应的三维数组输入到预先训练的视频特征提取模型，得到目标视频的特征向量。

在一些实施例中，视频特征提取模型包括至少一个卷积单元，卷积单元包括级联的二维卷积神经网络和一维卷积神经网络，其中，二维卷积神经网络用于对视频片段的组合图所对应的三维数组的行与列方向进行卷积，输出表征视频片段的组合图的特征的特征三维数组；一维卷积神经网络用于对特征三维数组的页方向进行卷积。

在一些实施例中，在将各视频片段分别对应的三维数组输入到预先训练的视频特征提取模型，得到目标视频的特征向量之前，该方法还包括：使用多个添加了类别标注的视频片段对初始视频特征提取模型进行训练，得到训练后的视频特征提取模型；其中，每一个视频片段可以包括一个视频帧序列。

在一些实施例中，该方法还包括：将特征向量输入到预先训练的视频类别识别模型，根据视频类别识别模型的输出确定目标视频对应的类别。

在一些实施例中，多个视频片段在时间上不连续。

在一些实施例中，每一视频片段的视频帧序列中的各视频帧在时间上不连续。

第二方面，本申请实施例提供了一种用于提取视频特征向量的装置，该装置包括：采集模块，被配置成从目标视频中采集多个视频片段，每个视频片段包括一个视频帧序列；生成模块，被配置成对于每一个视频片段，基于该视频片段对应的视频帧序列生成该视频片段的组合图，组合图的各像素的像素值存储于三维数组中；其中，三维数组包括行、列、页，三维数组的行、列的数量分别与该视频帧序列中的任意视频帧所包括的像素的行数、列数相同，三维数组的页数与该视频帧序列所包括的视频帧的数量相同，所述视频帧序列的每一个视频帧中，处于同一位置的像素的像素值存储于所述三维数组的每一页中的相同的位置；特征提取模块，被配置成将各视频片段分别对应的三维数组输入到预先训练的视频特征提取模型，得到目标视频的特征向量。