[发明专利]视频图像增强方法及其模型训练方法、相关设备

权利要求书

1.一种视频图像增强模型训练方法，其特征在于，包括：

获取待增强视频流以及增强后视频流；

从所述待增强视频流抽取第t帧待增强图像和第t+k帧待增强图像，其中，t和k为大于等于1的整数；

将所述第t帧待增强图像和第t+k帧待增强图像输入待训练的视频图像增强模型，获得所述待训练的视频图像增强模型输出的第t帧准增强图像和第t+k帧准增强图像；

将所述第t+k帧准增强图像对齐至第t帧，获得第t+k帧对齐增强图像；

根据所述增强后视频流的图像以及准增强图像计算所述待训练的视频图像增强模型的监督损失；

根据所述第t帧准增强图像和所述第t+k帧对齐增强图像计算所述待训练的视频图像增强模型的时序损失；

根据所述监督损失以及所述时序损失调整所述待训练的视频图像增强模型。

2.如权利要求1所述的视频图像增强模型训练方法，其特征在于，所述将所述第t+k帧准增强图像对齐至第t帧，获得第t+k帧对齐增强图像包括：

计算所述第t帧待增强图像和第t+k帧待增强图像之间运动的光流场映射矩阵；

基于所计算的光流场映射矩阵，将所述第t+k帧准增强图像对齐至第t帧，获得第t+k帧对齐增强图像。

3.如权利要求1所述的视频图像增强模型训练方法，其特征在于，所述所述待训练的视频图像增强模型的监督损失根据所述第t帧准增强图像以及所述增强后视频流的第t帧增强图像计算。

4.如权利要求1所述的视频图像增强模型训练方法，其特征在于，所述待训练的视频图像增强模型的时序损失还根据权值模板进行校正，所述权值模板根据所述第t帧待增强图像以及第t+k帧对齐待增强图像，所述第t+k帧对齐待增强图像基于所述第t+k帧待增强图像对齐至第t帧获得。

5.如权利要求4所述的视频图像增强模型训练方法，其特征在于，所述所述第t+k帧待增强图像对齐至第t帧与所述第t+k帧准增强图像对齐至第t帧采用相同的对齐方式。

6.如权利要求1至5任一项所述的视频图像增强模型训练方法，其特征在于，所述监督损失以及所述时序损失为L1损失函数。

7.一种视频图像增强方法，其特征在于，包括：

将待增强视频流的待增强视频帧输入至视频图像增强模型，所述视频图像增强模型基于如权利要求1至6任一项所述的训练方法训练。

8.一种视频图像增强模型训练装置，其特征在于，包括：

获取模块，配置成获取待增强视频流以及增强后视频流；

抽取模块，配置成从所述待增强视频流抽取第t帧待增强图像和第t+k帧待增强图像，其中，t和k为大于等于1的整数；

输入模块，配置成将所述第t帧待增强图像和第t+k帧待增强图像输入待训练的视频图像增强模型，获得所述待训练的视频图像增强模型输出的第t帧准增强图像和第t+k帧准增强图像；

对齐模块，配置成将所述第t+k帧准增强图像对齐至第t帧，获得第t+k帧对齐增强图像；

监督损失模块，配置成根据所述增强后视频流的图像以及准增强图像计算所述待训练的视频图像增强模型的监督损失；

时序损失模块，配置成根据所述第t帧准增强图像和所述第t+k帧对齐增强图像计算所述待训练的视频图像增强模型的时序损失；

调整模块，配置成根据所述监督损失以及所述时序损失调整所述待训练的视频图像增强模型。

9.一种电子设备，其特征在于，所述电子设备包括：

处理器；

存储器，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行：

如权利要求1至6任一项所述的视频图像增强模型训练方法；和/或

如权利要求7所述的视频图像增强方法。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行：

如权利要求1至6任一项所述的视频图像增强模型训练方法；和/或

如权利要求7所述的视频图像增强方法。