[发明专利]一种联合超分辨率、色域扩展和逆色调映射方法及设备

权利要求书

1.一种联合超分辨率、色域扩展和逆色调映射方法，其特征在于，包括：

S1：将高分辨率、高色域和高动态范围的视频帧下转换为低分辨率、低色域和标准动态范围的视频帧，高分辨率、高色域和高动态范围的视频帧以及下转换后的低分辨率、低色域和标准动态范围的视频帧组成训练数据集和测试数据集；

S2：基于局部残差学习和全局残差学习设计一个卷积神经网络；

S3：使用所述训练数据集不断训练优化所述卷积神经网络，得到能完成联合超分辨率、色域扩展和逆色调映射的卷积神经网络；

S4：将所述测试数据集中低分辨率、低色域和标准动态范围的视频帧输入至S3训练后得到的所述卷积神经网络，得到高分辨率、高色域和高动态范围的视频帧。

2.根据权利要求1所述的联合超分辨率、色域扩展和逆色调映射的方法，其特征在于：所述S1中，建立数据集时：

从高分辨率、高色域和高动态范围视频帧中截取出多幅160×160分辨率的图像块作为训练数据，使用整个视频帧作为测试数据；

再将高分辨率、高色域和高动态范围的视频帧下转换为低分辨率、低色域和标准动态范围的视频帧，将得到的低分辨率、低色域和标准动态范围视频帧和高分辨率、高色域和高动态范围视频帧，组成对应的训练数据集和测试数据集。

3.根据权利要求2所述的联合超分辨率、色域扩展和逆色调映射的方法，其特征在于：所述下转换，其降采样方式为双三次插值，色调映射方式为Recommendation ITU-RBT.2390推荐的电电转换函数，色域转换方式为线性映射。

4.根据权利要求3所述的联合超分辨率、色域扩展和逆色调映射的方法，其特征在于：所述数据集包含多组低分辨率、低色域和标准动态范围视频帧以及对应的高分辨率、高色域和高动态范围视频帧用于训练模型，另外还有多组用于测试，其中：高分辨率、高色域和高动态范围视频帧量化位数为10比特，分辨率为3840×2160，色域为BT.2020，电光转换函数为PQ；低分辨率、低色域和标准动态范围视频帧量化位数为8比特，分辨率为1920×1080，色域为BT.709，电光转换函数为BT.1886。

5.根据权利要求4所述的联合超分辨率、色域扩展和逆色调映射的方法，其特征在于：所述下转换，工作流程包括：

S101，高分辨率、高色域和高动态范围视频的量化位数为10比特，根据RecommendationITU-R BT.2020，将10比特的数字亮度和色差信号反量化为归一化的亮度和色差信号；

S102，根据Recommendation ITU-R BT.2020，将S101得到的亮度和色差信号转换为非线性的RGB信号；

S103，根据Recommendation ITU-R BT.2390推荐的电电转换函数(EETF)，将非线性的HDR RGB信号进行色调映射为非线性的SDR RGB信号；

S104，根据Recommendation ITU-R BT.2100，使用PQ电-光转换函数，将S102得到的非线性的SDR RGB信号转换为线性的SDR RGB信号；

S105，根据Recommendation ITU-R BT.709和Recommendation ITU-R BT.2020，将色域为BT.2020的线性的RGB信号转换为色域为BT.709的RGB信号；

S106，根据Recommendation ITU-R BT.1886的电光转换函数的逆，将S105得到的线性的RGB信号转换为非线性RGB信号；

S107，将分辨率为3840×2160的视频帧双三次插值降采样为分辨率为1920×1080的视频帧，得到降采样后的RGB信号；

S108，根据Recommendation ITU-R BT.709，将S107得到的降采样后的RGB信号转换为亮度和色差信号；

S109，根据Recommendation ITU-R BT.709，将归一化的S108得到的亮度和色差信号量化为8比特的数字亮度和色差信号。