[发明专利]一种基于曲线学习和Transformer的图像增强方法

说明书

本发明公开了一种基于曲线学习和Transformer的图像增强方法。本发明以基于学习的方式提取低照度图像的特征，并自动生成像素变换曲线，实现图像亮度的增强和局部对比度的拉伸。将曲线变换抽象成像素的对应变换，以8位数字图像为例，它的像素范围为0~255的整数，像素的对应则可以表示为256维的向量。为了提高图像的自然性，在损失函数中加入对改向量的一维拉普拉斯正则项，保证变换曲线的平滑性和单调性，使得变换后的像素大小关系仍保持不变。此外，为了减少增强图像中的噪声，引入BM3D去噪算法，根据可以一定程度上反应噪声识别的变换曲线的斜率，对不同的区域施以不同的程度的去噪，更好地去除增强图像中的噪声。

技术领域

本发明涉及图像处理领域，具体涉及一种基于曲线学习和Transformer的图像增强方法。

背景技术

在如今高度数字化的时代，数字图像已经成为一种重要的信息载体，无论在日常生活或者是生产环境中都起着重要的作用。而图像在获取的过程，质量往往是无法得到保证的，比如光照不足，光照不均匀，或者恶劣的天气下，图像的亮度和对比度都会严重下降。图像在传输和存储过程中，也会出现精度下降，信息丢失等，严重影响了信息的还原和图像处理算法的性能。而图像增强就是要根据某种需求，对图像的信息进行还原和放大，提高图像的对比度，同时去除图像中的噪声。

图像增强算法主要包含四大类，分为基于直方图均衡的方法、基于Retinex理论的方法、基于物理模型的方法和基于深度学习的方法。其中基于直方图均衡类的算法是比较经典的方法，利用直方图的统计特性，通过改变像素的分布实现对图像对比度拉伸和动态范围扩大。基于Retinex理论的方法，则是在Retinex的理论模型上，通过对物体颜色产生影响的不同的因素的估计，从而还原出质量更高的图像。而基于物理模型的方法是建立在特定的物理观测之上，比如低照度图像的反转图像与有雾的图像具有相似的特点，进而利用去雾算法实现图像增强。从2017年以后，随着深度学习的快速发展，越来越多的基于深度学习的图像增强方法开始出现，并且已经成为目前研究的热点。

合适的曲线调整，可以有效地增强图像的亮度局部对比度，曲线调色与伽马变换类似，但更加灵活，可以根据不同的需求构造不同的曲线。曲线变换为对应像素值的对应映射关系，不改变像素大大小次序，符合低照图像增强的要求。曲线变换可以很好地控制增强图像的像素相对大小，但是手工构造一个适用于不同图像的曲线变换非常困难。

发明内容

为了解决上述背景技术提到的技术问题，本发明提出了一种基于曲线学习和Transformer的图像增强方法。

为了实现上述技术目的，本发明的技术方案为：

一种基于曲线学习和Transformer的图像增强方法，包括以下步骤：

步骤1，将低照度图像增强具化为低照度图像到正常光照图像的对应像素映射；

步骤2，构建Vision Transformer的网络模型，提取低照度图像中局部特征以及全局的关系；

步骤3，获取低照度图像中像素值等于指定值的所有坐标，然后取出在对应正常光照图像这些坐标上所有像素，并以这些像素中出现频率最高的值作为低照度图像中指定像素增强后所对应的参考像素值；

步骤4，使用L1-Loss作为主损失函数，并添加对输出向量，即像素对应关系的二阶梯度正则；在LOLdataset数据集上训练深度网络模型直至收敛；步骤5，将需要增强的低照度图像输入训练好的网络模型中，输出像素变换曲线，使用该曲线对输入的低照度图像进行变换，得到增强图像；

步骤6，结合BM3D去噪算法，以步骤5中模型输出的像素变换曲线的梯度和像素值为参考，对步骤5中的增强图像各区域进行不同程度的去噪处理。

优选地，所述步骤1中，将低照图像和正常光照图像的映射关系简化为像素的映射关系，并用一个包含256个元素的一维向量表示，如下式所示：