[发明专利]模型训练、合成帧生成、视频识别方法和装置以及介质

权利要求书

1.一种模型训练方法，包括：

使用合成帧生成模型对视频帧训练序列进行压缩处理，获得二维合成帧；

使用联合训练模型对所述二维合成帧进行相应的处理，并基于处理结果构建第一损失函数；

根据所述视频帧训练序列和所述二维合成帧的颜色信息，构建第二损失函数；

基于所述第一损失函数和所述第二损失函数，对所述合成帧生成模型和所述联合训练模型进行联合训练。

2.如权利要求1所述的方法，其中，所述使用合成帧生成模型对视频帧训练序列进行压缩处理，获得二维合成帧包括：

在所述视频帧训练序列中确定关键帧；

确定所述视频帧训练序列中的其他帧与所述关键帧相对应的运动向量和残差；

基于所述关键帧和所述运动向量以及所述残差，生成视频压缩序列，使用所述合成帧生成模型并基于所述视频压缩序列生成所述二维合成帧。

3.如权利要求1所述的方法，其中，所述联合训练模型包括：视觉信息重建模型；所述第一损失函数包括：视觉信息重建损失函数；所述使用联合训练模型对所述二维合成帧进行相应的处理，并基于处理结果构建第一损失函数包括：

使用所述视觉信息重建模型生成与所述二维合成帧相对应的还原关键帧；

基于所述还原关键帧和所述关键帧之间的差异信息，构建所述视觉信息重建损失函数。

4.如权利要求1所述的方法，所述联合训练模型包括：视频分类模型；所述第一损失函数包括：视频分类损失函数；所述使用联合训练模型对所述二维合成帧进行相应的处理，并基于处理结果构建第一损失函数包括：

使用所述视频分类模型生成与所述二维合成帧相对应的类别预测概率；

基于所述类别预测概率和所述合成帧的类别标注信息，构建所述视频分类损失函数。

5.如权利要求1所述的方法，所述联合训练模型包括：动态信息预测模型；所述第一损失函数包括：动态信息预测损失函数；所述使用联合训练模型对所述二维合成帧进行相应的处理，并基于处理结果构建第一损失函数包括：

使用所述动态信息预测模型并基于所述二维合成帧，生成与所述关键帧相对应的预测运动向量和预测残差；

确定所述预测运动向量和与所述关键帧相对应的运动向量之间的第一差值；

确定所述预测残差和与所述关键帧相对应的残差之间的第二差值；

基于所述第一差值和所述第二差值，构建所述动态信息预测损失函数。

6.如权利要求1所述的方法，所述联合训练模型包括：判别器模型；所述第一损失函数包括：合成帧生成损失函数；所述使用联合训练模型对所述二维合成帧进行相应的处理，并基于处理结果构建第一损失函数包括：

使用所述判别器模型对所述合成帧生成模型生成的二维合成帧和所述关键帧进行判决处理；

根据所述判别结果生成所述合成帧生成损失函数。

7.如权利要求1所述的方法，所述第二损失函数包括：颜色一致性损失函数；所述根据所述视频帧训练序列和所述二维合成帧的颜色信息，构建第二损失函数包括：

确定所述视频帧训练序列中的各个视频帧的第一颜色通道平均值；

基于所述二维合成帧的第二颜色通道平均值和所述第一颜色通道平均值的差值，构建所述颜色一致性损失函数。

8.如权利要求1所述的方法，其中，

所述合成帧生成模型和所述联合训练模型包括：神经网络模型。

9.一种合成帧生成方法，包括：

使用合成帧生成模型对视频帧序列进行压缩处理，获得二维合成帧；

其中，所述合成帧生成模型是通过权利要求1至8中任一项所述的训练方法训练得到。