[发明专利]确定视频的内容特征的方法、装置、电子设备及存储介质

说明书

本公开提出了一种确定视频的内容特征的方法、装置、电子设备及存储介质，涉及视频分类。具体实现方案为：接收视频数据，视频数据包括多个视频帧；将各个视频帧分别输入预先训练的图像编码器，得到各个视频帧的图像特征；按照视频数据中包括的多个视频帧的先后顺序，依次针对各个视频帧进行以下处理：将当前视频帧的图像特征以及预先训练的视频特征编码器针对上一个视频帧的处理结果输入视频特征编码器，得到视频特征编码器针对当前视频帧的处理结果；直至对视频数据中包括的最后一个视频帧的处理结束，将视频特征编码器针对最后一个视频帧的输出结果作为视频数据的内容特征。

技术领域

本公开涉及机器学习技术领域，尤其涉及视频分类技术领域。

背景技术

在视频搜索、视频推荐等应用领域中，经常需要使用视频的内容特征。现有技术一般采用人工标注的方式标注视频的内容特征，该内容特征代表视频内容的语义信息。这种人工标注方式的人力成本和时间成本较高，无法实现大规模的标注。

发明内容

本公开提供了一种确定视频的内容特征的方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种确定视频的内容特征的方法，包括：

接收视频数据，视频数据包括多个视频帧；

将各个视频帧分别输入预先训练的图像编码器，得到各个视频帧的图像特征；

按照视频数据中包括的多个视频帧的先后顺序，依次针对各个视频帧进行以下处理：将当前视频帧的图像特征以及预先训练的视频特征编码器对上一个视频帧的处理结果输入视频特征编码器，得到视频特征编码器对当前视频帧的处理结果；

直至对视频数据中包括的最后一个视频帧的处理结束，将视频特征编码器对最后一个视频帧的输出结果作为视频数据的内容特征。

根据本公开的另一方面，提供了一种模型训练方法，模型包括视频特征编码器和对应的视频特征解码器，方法包括：

获取视频数据中各个视频帧的第一图像特征；

将各个视频帧的第一图像特征输入视频特征编码器，得到视频数据的内容特征；

将视频数据的内容特征输入视频特征解码器，得到视频数据中各个视频帧的第二图像特征；

根据各个视频帧的第一图像特征和第二图像特征的差异构建损失函数，对模型进行训练。

根据本公开的另一方面，提供了一种确定视频的内容特征的装置，包括：

接收模块，用于接收视频数据，视频数据包括多个视频帧；

第一输入模块，用于将各个视频帧分别输入预先训练的图像编码器，得到各个视频帧的图像特征；

第二输入模块，用于按照视频数据中包括的多个视频帧的先后顺序，依次针对各个视频帧进行以下处理：将当前视频帧的图像特征以及预先训练的视频特征编码器对上一个视频帧的处理结果输入视频特征编码器，得到视频特征编码器对当前视频帧的处理结果；

内容特征确定模块，用于将视频特征编码器对最后一个视频帧的处理结果作为视频数据的内容特征。

根据本公开的另一方面，提供了一种模型训练装置，模型包括视频特征编码器和对应的视频特征解码器，装置包括：

获取模块，用于获取视频数据中各个视频帧的第一图像特征；

第三输入模块，用于将各个视频帧的第一图像特征输入视频特征编码器，得到视频数据的内容特征；

第四输入模块，用于将视频数据的内容特征输入视频特征解码器，得到视频数据中各个视频帧的第二图像特征；