[发明专利]一种基于曲线学习和Transformer的图像增强方法

权利要求书

1.一种基于曲线学习和Transformer的图像增强方法，其特征在于，包括以下步骤：

步骤1，将低照度图像增强具化为低照度图像到正常光照图像的对应像素映射；

步骤2，构建Vision Transformer的网络模型，提取低照度图像中局部特征以及全局的关系；

步骤3，获取低照度图像中像素值等于指定值的所有坐标，然后取出在对应正常光照图像这些坐标上所有像素，并以这些像素中出现频率最高的值作为低照度图像中指定像素增强后所对应的参考像素值；

步骤4，使用L1-Loss作为主损失函数，并添加对输出向量，即像素对应关系的二阶梯度正则；在LOLdataset数据集上训练深度网络模型直至收敛；

步骤5，将需要增强的低照度图像输入训练好的网络模型中，输出像素变换曲线，使用该曲线对输入的低照度图像进行变换，得到增强图像；

步骤6，结合BM3D去噪算法，以步骤5中模型输出的像素变换曲线的梯度和像素值为参考，对步骤5中的增强图像各区域进行不同程度的去噪处理。

2.根据权利要求1所述一种基于曲线学习和Transformer的图像增强方法，其特征在于，所述步骤1中，将低照图像和正常光照图像的映射关系简化为像素的映射关系，并用一个包含256个元素的一维向量表示，如下式所不：

Output(x，y)＝V[Input(x，y)]，

V＝[m₀，m₁，m₂，…，m₂₅₅]^T

其中，Output(x，y)表示增强后的图像在(x，y)坐标处的像素值，Input(x，y)表示输入图像在(x，y)处的像素值；V为一维向量，其元素m₀，m₁，m₂，…，m₂₅₅依次表示低照度图像中像素0，1，2，…，255对应在正常光照图像中的像素值。

3.根据权利要求1所述一种基于曲线学习和Transformer的图像增强方法，其特征在于，所述步骤2中具体步骤如下：

(21)将低照度图像切分为不同的图像块，并将每个图像块展平为一维向量，每个向量加上位置编码，并拼接上一个可训练的像素映射向量；

(22)输入Vision Transformer主体框架中，利用多头注意力机制学习低照度图像的特征与不同图像块之间的关系；最后提取出像素映射向量，作为网络的输出结果。

4.根据权利要求1所述一种基于曲线学习和Transformer的图像增强方法，其特征在于，所述步骤3中具体步骤如下：

(31)建立一个256*256大小的矩阵A，其中行坐标表示低照度图像中像素值，列坐标表示其所对应的正常光照图像中像素，元素值表示行坐标的像素值对应到列坐标像素值的个数，如下式所示：

其中P(x＝i)表示低照度图像中像素值为i的元素的坐标，V(·)表示正常光照图像在坐标“·”处的像素值，C(v＝j)表示像素值等于j的数量；

(32)建立一个256个元素的一维向量M，取矩阵A每行值最大的列坐标作为M的元素值，M作为模型训练的参考值。

5.根据权利要求1所述一种基于曲线学习和Transformer的图像增强方法，其特征在于，所述步骤4中具体步骤如下：

(41)用表示深度网络模型的输出，即像素的映射关系，M表示模型训练的参考值，计算两个向量的L1-Loss作为主损失函数项，并添加对的拉普拉斯正则，如下式所示：

其中和M为一维向量，表示所提出网络模型输出的像素变换曲线；

M_i分别表示和M的第i元素，为的前一个元素和后一个元素；

(42)在公开数据集LOLDataset上训练深度网络，对损失函数进行反向传播，使得网络逐渐收敛。