[发明专利]一种联合超分辨率、色域扩展和逆色调映射方法及设备

说明书

本发明提供一种联合超分辨率、色域扩展和逆色调映射方法及设备，其中：S1：将高分辨率、高色域和高动态范围的视频帧下转换为低分辨率、低色域和标准动态范围的视频帧，组成训练数据集和测试数据集；S2：基于局部残差学习和全局残差学习设计一个卷积神经网络；S3：使用所述训练数据集不断训练优化所述卷积神经网络，得到能完成联合超分辨率、色域扩展和逆色调映射的卷积神经网络；S4：将所述测试数据集中低分辨率、低色域和标准动态范围的视频帧输入至S3训练后得到的所述卷积神经网络，得到高分辨率、高色域和高动态范围的视频帧。本发明改善了现有方法的伪影问题，提高了主观和客观质量。

技术领域

本发明涉及图像处理技术领域的方法，具体地说，涉及的是一种基于卷积神经网络的联合超分辨率、色域扩展和逆色调映射方法及设备。

背景技术

近年来，拍摄和显示技术迅速发展，市场上已经出现了大量消费级的高分辨率、高色域和高动态范围的摄像机和显示器。Recommendation ITU-R BT.2020标准对超高清电视的相关参数进行了定义，规定其分辨率为3840×2160或者7680×4320，量化位数为10比特或者12比特，而传统的符合Recommendation ITU-R BT.709标准的高清电视的分辨率为1920×1080，编码比特数为8比特或者10比特。Recommendation ITU-R BT.2020标准规定的色域大于Recommendation ITU-R BT.709规定的色域。Recommendation ITU-R BT.2100标准对高动态范围电视的相关参数进行了定义，规定了远大于标准动态范围电视的亮度显示范围。与传统的高清电视相比，高动态范围的超高清电视具有更高的分辨率、更高的动态范围、更宽的色域以及更高的量化位数，因此高动态范围的超高清电视相比于标准动态范围的高清电视，具有更清晰的画面、更多阴影和亮部的细节信息以及更加丰富的色彩。

虽然高分辨率、高色域和高动态范围的显示设备已经出现在消费市场，但是由于高分辨率、高色域和高动态范围的视频内容匮乏，需要将传统的低分辨率、低色域和标准动态范围视频上转换为高分辨率、高色域和高动态范围视频。

传统方法只是进行像素的一一映射，无法重建高频信息、纹理细节以及丰富的颜色。近几年出现的一些基于深度学习的方法存在伪影问题，因此主观质量不高。

发明内容

针对现有的联合超分辨率、色域扩展和逆色调映射方法的不足，本发明提供一种基于卷积神经网络的联合超分辨率、色域扩展和逆色调映射方法及设备，能够重建高频信息，恢复高光和阴影的细节，拓展色彩范围。

根据本发明的第一目的，提供一种联合超分辨率、色域扩展和逆色调映射方法，包括：

S1：将高分辨率、高色域和高动态范围的视频帧下转换为低分辨率、低色域和标准动态范围的视频帧，高分辨率、高色域和高动态范围的视频帧以及下转换后的低分辨率、低色域和标准动态范围的视频帧组成训练数据集和测试数据集；

S2：基于局部残差学习和全局残差学习设计一个卷积神经网络；

S3：使用所述训练数据集不断训练优化所述卷积神经网络，得到能完成联合超分辨率、色域扩展和逆色调映射的卷积神经网络；

S4：将所述测试数据集中低分辨率、低色域和标准动态范围的视频帧输入至S3训练后得到的所述卷积神经网络，得到高分辨率、高色域和高动态范围的视频帧。

可选地，所述S1中，建立数据集时：

从高分辨率、高色域和高动态范围视频帧中截取出多幅160×160分辨率的图像块作为训练数据，使用整个视频帧作为测试数据；

再将高分辨率、高色域和高动态范围的视频帧下转换为低分辨率、低色域和标准动态范围的视频帧，将得到的低分辨率、低色域和标准动态范围视频帧和高分辨率、高色域和高动态范围视频帧，组成对应的训练数据集和测试数据集。