[发明专利]视频超分辨模型的训练方法和装置

说明书

本公开提供一种视频超分辨模型的训练方法和装置。视频超分辨模型包括重构器、生成器和判别器，训练方法包括：获取包括多个第一质量的视频帧的视频帧训练样本；由重构器对第二质量的视频帧进行去噪处理来获得第一输出图像，其中，第二质量的视频帧是通过对第一质量的视频帧进行编码和解码后得到的；计算第一损失函数；由生成器对第一输出图像进行超分辨处理来获得第二输出图像；计算第二损失函数；计算第三损失函数；根据第一损失函数、第二损失函数和第三损失函数分别调整重构器、生成器和判别器的模型参数来对视频超分辨模型进行训练。

技术领域

本公开涉及视频处理领域，尤其涉及一种视频超分辨模型的训练方法和装置。

背景技术

在相关技术中，视频超分辨(Super Resolution，SR)算法在视频领域有着重要作用，能够将低质量、低分辨率的视频处理得到高质量、高分辨率的视频，提升视频分辨率同时，增强视频纹理细节，提升视频主观质量。目前基于深度学习的超分辨算法已经成为主流的超分辨算法，相比于传统的基于滤波和字典学习的超分辨算法，深度学习超分辨算法可以利用大规模的数据进行驱动，依赖大量卷积层的特征计算，提高算法的超分辨能力。

虽然现有的一些视频超分辨方案能够实现超分辨能力，但是现有的方案针对低分辨率视频实现超分辨时存在超分辨处理后产生的视频过度平滑、具有增强的噪声和错误纹理等的问题，导致超分辨后的视频质量下降。

发明内容

本公开提供一种视频超分辨模型的训练方法和装置以及视频超分辨方法和装置，以至少解决上述相关技术中的超分辨结果过度平滑、具有增强的噪声和错误纹理的问题，也可不解决任何上述问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频超分辨模型的训练方法，所述视频超分辨模型包括重构器、生成器和判别器，其中，所述训练方法包括：获取用于对所述视频超分辨模型进行训练的视频帧训练样本，其中，所述视频帧训练样本包括多个第一质量的视频帧；由重构器对第二质量的视频帧进行去噪处理来获得第一输出图像，其中，第二质量的视频帧是通过对第一质量的视频帧进行编码和解码后得到的；根据第一质量的视频帧和第一输出图像计算第一损失函数；由生成器对第一输出图像进行超分辨处理来获得第二输出图像；根据第一质量的视频帧、第二输出图像、以及判别器对第二输出图像和第一质量的视频帧的真伪判别的结果计算第二损失函数；根据判别器对第二输出图像和第一质量的视频帧的真伪判别的结果计算第三损失函数；根据第一损失函数、第二损失函数和第三损失函数分别调整重构器、生成器和判别器的模型参数来对所述视频超分辨模型进行训练。

可选地，所述训练方法还可包括：由所述视频超分辨模型对第二质量的视频帧进行处理来获得第三输出图像；根据判别器对第三输出图像和第一质量的视频帧的真伪判别的结果计算第四损失函数；根据第四损失函数进一步调整重构器、生成器和判别器的模型参数来对所述视频超分辨模型进行微调训练。

可选地，计算第二损失函数的步骤可包括：根据第二输出图像和第一质量的视频帧来计算L1损失函数；根据判别器对第二输出图像和第一质量的视频帧的真伪判别的结果来计算对抗损失函数；根据第二输出图像和第一质量的视频帧来计算感知损失函数；并且计算所述L1损失函数、所述对抗损失函数和所述感知损失函数的加权和作为第二损失函数。

可选地，计算第四损失函数的步骤可包括：根据第三输出图像和第一质量的视频帧来计算L1损失函数；根据判别器对第三输出图像和第一质量的视频帧的真伪判别的结果来计算对抗损失函数；根据第三输出图像和第一质量的视频帧来计算感知损失函数；并且计算所述L1损失函数、所述对抗损失函数和所述感知损失函数的加权和作为第四损失函数。

可选地，获得第一输出图像的步骤可包括：由重构器从第二质量的视频帧提取深度特征；由重构器中的多个卷积模块对提取的深度特征进行处理来获得处理后的深度特征；由重构器将处理后的深度特征转换到与第二质量的视频帧相同的彩色空间来获得第一输出图像。