[发明专利]一种基于深度学习的逆光图像协同增强方法

权利要求书

1.一种基于深度学习的逆光图像协同增强方法，其特征在于，按照以下步骤实施：

步骤1、采集逆光图像I_s；

步骤2、选取三种传统逆光图像增强方法，对步骤1采集的每一幅逆光图像均生成三幅不同种类的伪目标图像；

三种具有不同特色的传统逆光图像增强方法分别是，

传统逆光图像增强方法1生成的伪目标图像要求结构清晰，用I_t1表示；

传统逆光图像增强方法2生成的伪目标图像要求细节丰富，用I_t2表示；

传统逆光图像增强方法3生成的伪目标图像要求色彩丰富，用I_t3表示；

步骤3、设置对逆光图像增强的全卷积深度神经网络模型，用F_e表示，

具体过程为，

3.1)使用一个步长为1的3×3卷积层将输入的逆光图像I_s映射到特征空间，形成特征图；

3.2)采用三个下采样块对步骤3.1)形成的特征图进行编码，每一个下采样块都是由一个步长为2的3×3卷积层和ReLU激活层组成，每个下采样块都提取64通道的特征映射输出；

3.3)通过三个上采样块对步骤3.2)最后一个下采样块的特征映射输出进行解码，每个上采样块都是先通过最近邻插值将特征图上采样到更高一层的尺寸，再通过一个3×3卷积层和ReLU激活层进行特征映射的；此外在将前一层输入送入到下一个上采样块之前，将其与对应的下采样时提取到的特征拼接起来，以得到更为丰富的级联特征；

3.4)将所有上采样块的输出resize为输入逆光图像的大小并进行通道拼接，形成192个通道的级联特征，再通过一个1*1卷积层将其融合为64个通道的特征；

3.5)利用一个3*3卷积层将64个通道的特征映射到3通道的图像空间，并通过Sigmoid层将输出的结果归一化到0-1的图像范围，生成由该网络增强后的逆光图像；

步骤4、针对步骤2中的不同种类的伪目标图像设计不同的损失函数，然后加权综合所有的损失函数形成总的损失函数，以此来共同指导步骤3所设计的逆光图像增强的全卷积神经网络模型的训练，来学习并综合不同伪目标图像优点，

损失函数的构建过程为，

对于传统逆光图像增强方法1生成的伪目标图像I_t1与步骤3全卷积神经网络模型F_e生成的增强后的逆光图像的损失函数L₁，称为结构损失函数，其定义为：L₁＝||F_e(I_s)-I_t1||₁，其中F_e(I_s)表示由全卷积神经网络模型F_e生成的增强后的逆光图像；

对于传统逆光图像增强方法2生成的伪目标图像I_t2与步骤3全卷积神经网络模型F_e生成的增强后的逆光图像的损失函数L₂，称为感知损失函数，其定义为：其中算子VGG(·)表示提取VGGNet-19网络的conv4-4层输出的特征；

对于传统逆光图像增强方法3生成的伪目标图像I_t3与步骤3全卷积神经网络模型F_e生成的增强后的逆光图像的损失函数L₃，称为颜色损失函数，其定义为：其中算子B(·)表示进行高斯滤波模糊运算；选取的高斯滤波函数为：参数为A＝0.053；μ_x＝0；μ_y＝0；σ_x＝3；σ_y＝3；

总的结构损失函数L定义为：L＝L₁+λ_pL₂+λ_cL₃；

步骤5、对于待增强的逆光图像I_s，将其输入到步骤4训练好的逆光图像增强的全卷积神经网络模型F_e，该全卷积神经网络模型的输出就是增强后的逆光图像I_e，即I_e＝F_e(I_s)，即成。

2.根据权利要求1所述的基于深度学习的逆光图像协同增强方法，其特征在于：所述的系数λ_p的取值范围为0.05到0.15之间，系数λ_c的取值范围为0.5到1.5之间。