[发明专利]视频特征提取模型的训练方法和装置

说明书

本申请公开了一种视频特征提取模型的训练方法和装置，属于计算机技术领域。所述方法包括：获取样本视频的模态信息和所述样本视频对应的样本标签；基于所述样本视频对应的样本标签和训练完成的标签特征提取模型，确定所述样本视频对应的标签特征信息；基于所述样本视频的模态信息和待训练的视频特征提取模型，确定所述样本视频对应的视频特征信息；基于所述样本视频对应的标签特征信息和视频特征信息，对所述待训练的视频特征提取模型进行训练。采用本申请，可以使得训练完成的视频特征提取模型输出的预测结果更为准确。

技术领域

本申请涉及计算机技术领域，特别涉及一种视频特征提取模型的训练方法和装置。

背景技术

对于一些具有视频发布功能或视频播放功能的应用程序来说，为了方便后续的管理，通常会使用视频特征提取模型对每个视频进行特征提取，从而得到每个视频对应的视频特征信息。

当前，视频特征提取模型的训练方法是采用视频的标签作为监督信息的方法，具体的，在将样本视频的模态信息输入视频特征提取模型中从而得到输出的样本视频对应的视频特征信息后，再将样本视频的视频特征信息输入标签确定模型中，从而得到每种标签对应的概率，每个标签的概率用于指示该样本视频匹配该标签的概率，然后基于该样本视频对应的实际标签和标签确定模型输出的每种标签的概率，来对视频特征提取模型和标签确定模型进行训练。

由于标签是较为细粒度的衡量标准，因此，为视频匹配的实际标签也是较为细粒度的标签，有可能两个视频在某一程度上较为相似，但是并没有为它们匹配相同的实际标签，且由于在上述训练过程中也并未应用标签之间的语义关联信息，这也就导致了两个视频的视频特征信息之间的相似度可能会很小，即视频特征信息可能会较为不准确。例如，视频A的实际标签为“格斗游戏”和“单机游戏”，视频B的标签为“格斗”和“拳击”，但由于视频A和视频B的实际标签不同，进行特征提取后得到的两个视频特征信息之间的相似度会较小，从而导致了视频特征提取模型的不准确。

发明内容

本申请实施例提供了一种视频特征提取模型的训练方法，能够解决现有技术中训练完成的视频特征提取模型的输出结果不准确的问题。

第一方面，提供了一种视频特征提取模型的训练方法，所述方法包括：

获取样本视频的模态信息和所述样本视频对应的样本标签；

基于所述样本视频对应的样本标签和训练完成的标签特征提取模型，确定所述样本视频对应的标签特征信息；

基于所述样本视频的模态信息和待训练的视频特征提取模型，确定所述样本视频对应的视频特征信息；

基于所述样本视频对应的标签特征信息和视频特征信息，对所述待训练的视频特征提取模型进行训练。

在一种可能的实现方式中，所述模态信息包括图像数据、标题文本数据、音频数据和字幕数据中的至少一个。

在一种可能的实现方式中，所述基于所述样本视频对应的样本标签和训练完成的标签特征提取模型，确定所述样本视频对应的标签特征信息，包括：

将每个样本标签分别输入所述训练完成的标签特征提取模型，得到所述每个样本标签对应的特征信息；

基于所述每个样本标签对应的特征信息和标签融合模型，确定所述样本视频对应的标签特征信息。

在一种可能的实现方式中，所述模态信息包括图像数据和标题文本数据，所述视频特征提取模型包括图像特征提取子模型、标题特征提取子模型和模态融合子模型；

所述基于所述样本视频的模态信息和待训练的视频特征提取模型，确定所述样本视频对应的视频特征信息，包括：

基于所述样本视频的图像数据和待训练的图像特征提取子模型，确定所述样本视频对应的图像特征信息；