[发明专利]视频超分辨模型的训练方法和装置

权利要求书

1.一种视频超分辨模型的训练方法，其特征在于，所述视频超分辨模型包括重构器、生成器和判别器，其中，所述训练方法包括：

获取用于对所述视频超分辨模型进行训练的视频帧训练样本，其中，所述视频帧训练样本包括多个第一质量的视频帧；

由重构器对第二质量的视频帧进行去噪处理来获得第一输出图像，其中，第二质量的视频帧是通过对第一质量的视频帧进行编码和解码后得到的；

根据第一质量的视频帧和第一输出图像计算第一损失函数；

由生成器对第一输出图像进行超分辨处理来获得第二输出图像；

根据第一质量的视频帧、第二输出图像、以及判别器对第二输出图像和第一质量的视频帧的真伪判别的结果计算第二损失函数；

根据判别器对第二输出图像和第一质量的视频帧的真伪判别的结果计算第三损失函数；

根据第一损失函数、第二损失函数和第三损失函数分别调整重构器、生成器和判别器的模型参数来对所述视频超分辨模型进行训练。

2.如权利要求1所述的训练方法，其特征在于，所述训练方法还包括：

由所述视频超分辨模型对第二质量的视频帧进行处理来获得第三输出图像；

根据判别器对第三输出图像和第一质量的视频帧的真伪判别的结果计算第四损失函数；

根据第四损失函数进一步调整重构器、生成器和判别器的模型参数来对所述视频超分辨模型进行微调训练。

3.如权利要求1所述的训练方法，其特征在于，计算第二损失函数的步骤包括：

根据第二输出图像和第一质量的视频帧来计算L1损失函数；

根据判别器对第二输出图像和第一质量的视频帧的真伪判别的结果来计算对抗损失函数；

根据第二输出图像和第一质量的视频帧来计算感知损失函数；并且

计算所述L1损失函数、所述对抗损失函数和所述感知损失函数的加权和作为第二损失函数。

4.如权利要求2所述的训练方法，其特征在于，计算第四损失函数的步骤包括：

根据第三输出图像和第一质量的视频帧来计算L1损失函数；

根据判别器对第三输出图像和第一质量的视频帧的真伪判别的结果来计算对抗损失函数；

根据第三输出图像和第一质量的视频帧来计算感知损失函数；并且

计算所述L1损失函数、所述对抗损失函数和所述感知损失函数的加权和作为第四损失函数。

5.一种视频超分辨方法，其特征在于，包括：

由利用如权利要求1至4中任意一项权利要求所述的训练方法训练得到的视频超分辨模型中的重构器对重建的视频帧进行去噪处理，来获得第一输出图像；

由所述视频超分辨模型中的生成器对第一输出图像进行超分辨处理来获得第二输出图像。

6.一种视频超分辨模型的训练装置，其特征在于，所述视频超分辨模型包括重构器、生成器和判别器，其中，所述训练装置包括：

第一获取模块，被配置为：通过重构器对第二质量的视频帧进行去噪处理来获得第一输出图像，其中，第二质量的视频帧是通过对第一质量的视频帧进行编码和解码后得到的，并且用于所述训练装置的视频帧训练样本包括多个第一质量的视频帧；

第二获取模块，被配置为：通过生成器对第一输出图像进行超分辨处理来获得第二输出图像；

计算模块，被配置为：根据第一质量的视频帧和第一输出图像计算第一损失函数，根据第一质量的视频帧、第二输出图像、以及判别器对第二输出图像和第一质量的视频帧判别的结果计算第二损失函数，并且，根据判别器对第二输出图像和第一质量的视频帧的真伪判别的结果计算第三损失函数；以及

调参模块，被配置为：根据第一损失函数、第二损失函数和第三损失函数分别调整重构器、生成器和判别器的模型参数来对所述视频超分辨模型进行训练。