[发明专利]逆色调映射系统、方法及其神经网络系统

说明书

本发明涉及逆色调映射系统、方法及其神经网络系统，提供逆色调映射系统中特征提取模块3基于不同的感受野从SDR视频帧I^t_s提取特征信息，通过拼接操作得到复合特征图。画面重建模块4由四个包含自注意力层的残差群组串联而成。复合特征图通过第1残差群组41、第2残差群组42、第3残差群组43、第4残差群组44的特征提取通路提取特征的同时，各个残差群组41的输入与通过特征提取通路提取的特征图做相加操作作为下一个残差群组的输入。第4残差群组44的特征提取通路提取的特征图与输入的复合特征图做相加操作得到用于重建的特征图。通过卷积操作得到HDR品质的视频帧I^t_h’。

技术领域

本发明涉及逆色调映射系统、方法及其神经网络系统，尤其涉及神经网络系统的结构。

背景技术

逆色调映射技术是将SDR(Standard Dynamic Range，标准动态范围)视频通过图像处理的方法转换为HDR(High Dynamic Range，高动态范围)视频的技术。关于逆色调映射技术主要有基于标准转换公式的公式法、基于人眼视觉感受的艺术法，以及基于神经网络的深度学习方法。

基于标准转换公式的公式法一般基于OETF(光电转换函数)和EOTF(电光转换函数)。具体操作是：首先把非线性的电信号转换成线性光信号，然后转换色域，再把转换了色域的线性光信号转换为非线性电信号。

基于标准转换公式的公式法优点在于可以极大程度保留SDR视频的原本观感，并且转换效果稳定，但是在很多场景下无法做到提升画面观感的效果。

基于人眼视觉感受的艺术法是基于艺术家的体验，从调色师的视角处理动态范围、伽玛和色域转换的方法。

该方法融入了作者个人的主观感受，在部分场景下可以获得良好的效果，但是泛用性较差。

基于神经网络的深度学习方法是从大量的数据中直接学习变换的规律，用非线性函数去无限贴近目标结果。现有的研究通过找到成对的SDR视频和HDR视频，使用神经网络去拟合从SDR视频到HDR视频的变化，实现从SDR电信号到HDR电信号的直接转换。

与前两种方法相比，基于神经网络的深度学习方法具有较好的自适应能力，能够根据不同场景做出不同的变换效果。然而神经网络模型的缺点在于其效果很大程度上取决于配对数据的质量以及神经网络的结构。

由于从SDR视频到HDR视频的转换实际上是一种多对多的关系，设计不合理的神经网络不仅计算量大，而且很难很好地学习到足够稳定的转换效果，容易出现画面异常的问题。例如加深网络深度可以增强学习能力，但网络层数的增加，会使训练会变得困难，并且复杂的网络结构也容易产生网络退化，模型不收敛的问题。

SDR视频到HDR视频的转换本质上是通过神经网络生成纹理等细节成分，SDR视频中加入推算得到的细节成分，生成具有HDR视频品质的视频。神经网络在提取数据特征的过程中，随着提取层(卷积层)的加深，由于各层的信息无法向深层传递，细节成分的高频信息容易被过滤掉，影响细节成分的重建。

本发明的第一目的在于提供一种逆色调映射系统、方法及其神经网络系统，通过合理设计的神经网络结构，增强网络的拟合能力，使模型快速收敛。

第二目的在于提高网络对细节成分的重建能力，增强重建视频的画面观感。

发明内容