[发明专利]视频解析模型的训练方法、装置、视频解析方法及装置

说明书

本公开关于一种视频解析模型的训练方法、装置、视频解析方法及装置，视频解析模型包括视频分割网络和视频分类网络，训练方法包括：获取视频样本的图像特征及视频样本对应的标签信息；视频样本包括至少一个标准视频片段，标签信息包括每个标准视频片段对应的标准视频片段类型；根据视频样本的图像特征，利用视频分割网络进行视频片段分割处理，得到至少一个第一视频片段；根据至少一个第一视频片段的图像特征，利用视频分类网络进行视频片段分类处理，得到每个第一视频片段的预估视频片段类型；根据预估视频片段类型和标准视频片段类型，确定第一损失函数的值；根据第一损失函数的值调整视频分割网络和视频分类网络的参数，直至满足结束条件。

技术领域

本公开涉及视频技术领域，尤其涉及一种视频解析模型的训练方法、装置、视频解析方法及装置。

背景技术

视频逐渐成为重要的信息载体，对视频内容的理解有利于视频的推荐以及视频广告的精准投放等，所以用正确的方式去对视频进行更加精细的解析并理解其内容成为越来越重要的研究方向。

视频解析任务分为两个部分，一部分是将视频进行“幕”分割，“幕”是一系列具有相同语义的图像帧组成的视频片段；另一部分是将分割出来的“幕”进行视频分类。常规做法是将两个部分当成两个独立的任务，相应地，优化视频解析效果的做法是对这两个独立的任务分别进行优化，但优化效果有限。

发明内容

本公开提供一种视频解析模型的训练方法、装置、视频解析方法及装置，以至少解决相关技术中的如何优化视频解析效果的问题，也可不解决任何上述问题。

根据本公开的第一方面，提供了一种视频解析模型的训练方法，所述视频解析模型包括视频分割网络和视频分类网络，所述训练方法包括：获取视频样本的图像特征及所述视频样本对应的标签信息；其中，所述视频样本包括至少一个标准视频片段，每个所述标准视频片段包括相同语义的图像帧，所述标签信息包括所述视频样本中的每个标准视频片段对应的标准视频片段类型；根据所述视频样本的图像特征，利用所述视频分割网络进行视频片段分割处理，得到至少一个第一视频片段；根据所述至少一个第一视频片段各自对应的图像特征，利用所述视频分类网络进行视频片段分类处理，得到每个所述第一视频片段对应的预估视频片段类型；根据各所述第一视频片段对应的预估视频片段类型和相应标准视频片段对应的标准视频片段类型，确定第一损失函数的值；根据所述第一损失函数的值调整所述视频分割网络和所述视频分类网络的参数，并根据调整后的参数继续迭代训练直至满足预设训练结束条件。

可选地，所述训练方法还包括：获取所述视频样本中的多个图像帧各自对应的辅助模态特征；所述辅助模态特征包括文本特征和音频特征中的至少一个；其中，所述根据所述视频样本的图像特征，利用所述视频分割网络进行视频片段分割处理，得到至少一个第一视频片段，包括：将多个图像帧各自对应的所述辅助模态特征融入到相应图像帧的所述图像特征中，得到多个图像帧各自对应的融合图像特征；将所述视频样本的多个图像帧各自对应的所述融合图像特征输入所述视频分割网络，确定多个图像帧中的第一分割点图像帧；根据所述第一分割点图像帧分割所述视频样本，得到所述至少一个第一视频片段。

可选地，所述训练方法还包括：将多个图像帧各自对应的所述图像特征融入到相应图像帧的所述文本特征中，或将多个图像帧各自对应的所述图像特征和所述音频特征融入到相应图像帧的所述文本特征中，得到多个图像帧各自对应的融合文本特征；将多个图像帧各自对应的所述图像特征融入到相应图像帧的所述音频特征中，或将多个图像帧各自对应的所述图像特征和所述文本特征融入到相应图像帧的所述音频特征中，得到多个图像帧各自对应的融合音频特征；将每个图像帧的所述融合文本特征和所述融合音频特征中的至少一个与相应图像帧的所述融合图像特征进行融合，得到每个图像帧对应的融合特征；根据所述第一分割点图像帧，对多个图像帧对应的所述融合特征进行分割，得到所述至少一个第一视频片段各自对应的所述融合特征；其中，所述根据所述至少一个第一视频片段各自对应的图像特征，利用所述视频分类网络进行视频片段分类处理，包括：将所述至少一个第一视频片段各自对应的所述融合特征输入所述视频分类网络。