[发明专利]视频解析模型的训练方法、装置、视频解析方法及装置

权利要求书

1.一种视频解析模型的训练方法，其特征在于，所述视频解析模型包括视频分割网络和视频分类网络，所述训练方法包括：

获取视频样本的图像特征及所述视频样本对应的标签信息；其中，所述视频样本包括至少一个标准视频片段，每个所述标准视频片段包括相同语义的图像帧，所述标签信息包括所述视频样本中的每个标准视频片段对应的标准视频片段类型；

根据所述视频样本的图像特征，利用所述视频分割网络进行视频片段分割处理，得到至少一个第一视频片段；

根据所述至少一个第一视频片段各自对应的图像特征，利用所述视频分类网络进行视频片段分类处理，得到每个所述第一视频片段对应的预估视频片段类型；

根据各所述第一视频片段对应的预估视频片段类型和相应标准视频片段对应的标准视频片段类型，确定第一损失函数的值；

根据所述第一损失函数的值调整所述视频分割网络和所述视频分类网络的参数，并根据调整后的参数继续迭代训练直至满足预设训练结束条件。

2.如权利要求1所述的训练方法，其特征在于，所述训练方法还包括：

获取所述视频样本中的多个图像帧各自对应的辅助模态特征；所述辅助模态特征包括文本特征和音频特征中的至少一个；

其中，所述根据所述视频样本的图像特征，利用所述视频分割网络进行视频片段分割处理，得到至少一个第一视频片段，包括：

将多个图像帧各自对应的所述辅助模态特征融入到相应图像帧的所述图像特征中，得到多个图像帧各自对应的融合图像特征；

将所述视频样本的多个图像帧各自对应的所述融合图像特征输入所述视频分割网络，确定多个图像帧中的第一分割点图像帧；

根据所述第一分割点图像帧分割所述视频样本，得到所述至少一个第一视频片段。

3.如权利要求2所述的训练方法，其特征在于，所述训练方法还包括：

将多个图像帧各自对应的所述图像特征融入到相应图像帧的所述文本特征中，或将多个图像帧各自对应的所述图像特征和所述音频特征融入到相应图像帧的所述文本特征中，得到多个图像帧各自对应的融合文本特征；

将多个图像帧各自对应的所述图像特征融入到相应图像帧的所述音频特征中，或将多个图像帧各自对应的所述图像特征和所述文本特征融入到相应图像帧的所述音频特征中，得到多个图像帧各自对应的融合音频特征；

将每个图像帧的所述融合文本特征和所述融合音频特征中的至少一个与相应图像帧的所述融合图像特征进行融合，得到每个图像帧对应的融合特征；

根据所述第一分割点图像帧，对多个图像帧对应的所述融合特征进行分割，得到所述至少一个第一视频片段各自对应的所述融合特征；

其中，所述根据所述至少一个第一视频片段各自对应的图像特征，利用所述视频分类网络进行视频片段分类处理，包括：

将所述至少一个第一视频片段各自对应的所述融合特征输入所述视频分类网络。

4.如权利要求3所述的训练方法，其特征在于，所述视频解析模型还包括多模态特征提取网络，

其中，所述融合文本特征和所述融合音频特征中的至少一个以及所述融合图像特征通过以下步骤得到：

将多个图像帧各自对应的所述文本特征和所述音频特征中的至少一个以及所述图像特征输入所述多模态特征提取网络，得到多个图像帧各自对应的所述融合文本特征和所述融合音频特征中的至少一个以及所述融合图像特征，

其中，所述根据所述第一损失函数的值调整所述视频分割网络和所述视频分类网络的参数，包括：

根据所述第一损失函数的值调整所述多模态特征提取网络、所述视频分割网络和所述视频分类网络的参数。

5.一种视频解析方法，其特征在于，所述视频解析方法包括：

获取目标视频的图像特征；

根据所述图像特征，利用视频解析模型中的视频分割网络进行视频片段分割处理，得到至少一个第一视频片段；

根据所述至少一个第一视频片段各自对应的图像特征，利用视频解析模型中的视频分类网络进行视频片段分类处理，得到每个所述第一视频片段对应的预估视频片段类型；

其中，所述视频解析模型是使用如权利要求1到4中的任一权利要求所述的训练方法训练得到的。