[发明专利]确定视频的内容特征的方法、装置、电子设备及存储介质

权利要求书

1.一种确定视频的内容特征的方法，包括：

接收视频数据，所述视频数据包括多个视频帧；

将各个所述视频帧分别输入预先训练的图像编码器，得到各个视频帧的图像特征；

按照所述视频数据中包括的多个视频帧的先后顺序，依次针对各个所述视频帧进行以下处理：将当前视频帧的图像特征以及预先训练的视频特征编码器对上一个视频帧的处理结果输入所述视频特征编码器，得到所述视频特征编码器对当前视频帧的处理结果；

直至对视频数据中包括的最后一个视频帧的处理结束，将所述视频特征编码器对最后一个视频帧的处理结果作为所述视频数据的内容特征；

其中，所述视频特征编码器包括第一神经网络模型和第二神经网络模型；

所述将当前视频帧的图像特征以及预先训练的视频特征编码器对上一个视频帧的处理结果输入所述视频特征编码器，包括：

将当前视频帧的图像特征输入所述第一神经网络模型，得到所述当前视频帧的卷积特征；

将所述当前视频帧的图像特征、所述当前视频帧的卷积特征及所述视频特征编码器对上一个视频帧的处理结果输入所述第二神经网络模型。

2.根据权利要求1所述的方法，还包括：

获取所述视频数据的用户特征和标签特征；其中，所述视频数据的用户特征包括播放所述视频数据的用户的特征；

根据所述视频数据的所述内容特征、所述用户特征和所述标签特征，生成所述视频数据的综合特征；

利用所述综合特征对所述视频数据进行推荐、检索或视频内容匹配。

3.一种模型训练方法，所述模型包括视频特征编码器和对应的视频特征解码器，所述方法包括：

获取视频数据中各个视频帧的第一图像特征，其中，所述第一图像特征用于根据预先训练的图像编码器对各个视频帧进行处理得到；

将各个所述视频帧的第一图像特征输入所述视频特征编码器，得到所述视频数据的内容特征，其中，所述内容特征为所述视频数据中的最后一个视频帧的处理结果，所述处理结果为按照所述视频数据中包括的多个视频帧的先后顺序，对各个所述视频帧进行以下处理得到：

将当前视频帧的图像特征以及预先训练的视频特征编码器对上一个视频帧的处理结果输入所述视频特征编码器，得到所述视频特征编码器对当前视频帧的处理结果；

将所述视频数据的内容特征输入所述视频特征解码器，得到所述视频数据中各个视频帧的第二图像特征；

根据各个所述视频帧的第一图像特征和第二图像特征的差异构建损失函数，对所述模型进行训练；

其中，所述视频特征编码器包括第一神经网络模型和第二神经网络模型；

所述将当前视频帧的图像特征以及预先训练的视频特征编码器对上一个视频帧的处理结果输入所述视频特征编码器，包括：

将当前视频帧的图像特征输入所述第一神经网络模型，得到所述当前视频帧的卷积特征；

将所述当前视频帧的图像特征、所述当前视频帧的卷积特征及所述视频特征编码器对上一个视频帧的处理结果输入所述第二神经网络模型。

4.根据权利要求3所述的方法，其中，各个所述视频帧的第一图像特征由图像编码器对所述视频数据中的各个视频帧处理得到：

所述方法还包括：

将所述视频数据中各个视频帧的第二图像特征分别输入所述图像编码器对应的图像解码器，得到各个所述视频帧的还原图像；

根据各个所述视频帧与视频帧对应的还原图像的差异构建损失函数，对所述模型进行训练。

5.根据权利要求3或4所述的方法，其中，所述将各个所述视频帧的第一图像特征输入所述视频特征编码器，得到所述视频数据的内容特征，包括：

按照所述视频数据中包括的多个视频帧的先后顺序，依次针对各个所述视频帧进行以下处理：将当前视频帧的第一图像特征以及所述视频特征编码器对上一个视频帧的处理结果输入所述视频特征编码器，得到所述视频特征编码器对当前视频帧的处理结果；

直至对视频数据中包括的最后一个视频帧的处理结束，得到所述视频数据的内容特征。