[发明专利]视频特征提取模型的训练方法和装置

权利要求书

1.一种视频特征提取模型的训练方法，其特征在于，所述方法包括：

获取样本视频的模态信息和所述样本视频对应的样本标签；

基于所述样本视频对应的样本标签和训练完成的标签特征提取模型，确定所述样本视频对应的标签特征信息；

基于所述样本视频的模态信息和待训练的视频特征提取模型，确定所述样本视频对应的视频特征信息；

基于所述样本视频对应的标签特征信息和视频特征信息，对所述待训练的视频特征提取模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述模态信息包括图像数据、标题文本数据、音频数据和字幕数据中的至少一个。

3.根据权利要求1所述的方法，其特征在于，所述模态信息包括图像数据和标题文本数据，所述视频特征提取模型包括图像特征提取子模型、标题特征提取子模型和模态融合子模型；

所述基于所述样本视频的模态信息和待训练的视频特征提取模型，确定所述样本视频对应的视频特征信息，包括：

基于所述样本视频的图像数据和待训练的图像特征提取子模型，确定所述样本视频对应的图像特征信息；

基于所述样本视频对应的标题文本数据和待训练的标题特征提取子模型，确定所述样本视频对应的标题特征信息；

基于待训练的模态融合子模型、以及所述样本视频对应的图像特征信息和标题特征信息，确定所述样本视频对应的视频特征信息。

4.根据权利要求3所述的方法，其特征在于，所述样本视频的图像数据包括多个图像帧数据，所述图像特征提取子模型包括图像帧特征提取模块和图像融合模块；

所述基于所述样本视频的图像数据和待训练的图像特征提取子模型，确定所述样本视频对应的图像特征信息，包括：

将每个图像帧数据分别输入待训练的图像帧特征提取模块，得到所述每个图像帧数据对应的图像帧特征信息；

将所述每个图像帧数据对应的图像帧特征信息输入待训练的图像融合模块，得到所述样本视频对应的图像特征信息。

5.根据权利要求1所述的方法，其特征在于，所述基于所述样本视频对应的标签特征信息和视频特征信息，对所述待训练的视频特征提取模型进行训练，包括：

获取其他样本视频对应的样本标签；

基于所述其他样本视频对应的样本标签和所述训练完成的标签特征提取模型，确定所述其他样本视频对应的标签特征信息；

基于所述其他样本视频对应的标签特征信息、以及所述样本视频对应的标签特征信息和视频特征信息，对所述待训练的视频特征提取模型进行训练。

6.根据权利要求5所述的方法，其特征在于，所述基于所述其他样本视频对应的标签特征信息、以及所述样本视频对应的标签特征信息和视频特征信息，对所述待训练的视频特征提取模型进行训练，包括：

将所述样本视频对应的标签特征信息作为所述样本视频对应的视频特征信息的正样本，将所述其他样本视频对应的标签特征信息作为所述样本视频对应的视频特征信息的负样本，基于三元组损失函数、所述其他样本视频对应的标签特征信息、以及所述样本视频对应的标签特征信息和视频特征信息，计算损失值；

基于所述损失值，对所述待训练的视频特征提取模型进行训练。

7.一种视频特征提取模型的训练装置，其特征在于，所述装置包括：

获取模块，用于获取样本视频的模态信息和所述样本视频对应的样本标签；

第一确定模块，用于基于所述样本视频对应的样本标签和训练完成的标签特征提取模型，确定所述样本视频对应的标签特征信息；

第二确定模块，用于基于所述样本视频的模态信息和待训练的视频特征提取模型，确定所述样本视频对应的视频特征信息；

训练模块，用于基于所述样本视频对应的标签特征信息和视频特征信息，对所述待训练的视频特征提取模型进行训练。

8.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至权利要求6任一项所述的视频特征提取模型的训练方法所执行的操作。