[发明专利]基于条件生成对抗网络的低照度图像增强方法及装置

权利要求书

1.一种基于条件生成对抗网络的低照度图像增强装置，其特征在于，包括：

图像输入装置，用于接收输入图像，所述输入图像为低照度图像和/或其对应的高质量的亮图像；

图像处理装置，采用条件生成对抗网络即CGAN模型对低照度图像进行增强处理得到处理后的增强图像，包括：生成模型和判别模型；所述生成模型采用卷积神经网络即CNN模型，所述CNN模型包括15层卷积层；所述CNN模型包括一条具有编码功能的缩小路径与一条对称的具有解码功能的放大路径；两条路径相连接构成一个深度为四层的U型网络模型；采用跳跃连接将两条路径上位于同一层的卷积层相连接；其中，第二卷积层与第十三卷积层相连接，使得第一、第二、第十三、第十四和第十五的卷积层组成所述U型网络模型的第一层；第四卷积层与第十一卷积层相连接，使得第三、第四、第十一和第十二卷积层组成所述U型网络模型的第二层；第六卷积层与第九卷积层相连接，使得第五、第六、第九和第十卷积层组成所述U型网络模型的第三层；第七和第八卷积层组成所述U型网络模型的第四层；所述判别模型为一个二分类CNN判别模型，所述二分类CNN判别模型包括卷积层、池化层和全连接层；图像输入二分类CNN判别模型后，连续地进行特征提取和下采样操作，使得不同的卷积层提取图像不同尺度的特征；以及

图像输出装置，输出所述处理后的增强图像，

其中，

U型网络模型的损失函数由GAN损失函数和用于计算图像间距离的L1损失函数两部分组成；

所述GAN损失函数为交叉熵损失函数，分为两部分；第一部分用于判别模型，采用交叉熵损失函数对输入的图像进行分类；第二部分用于生成模型，生成模型需要使得判别模型将生成的图像判别为真，第二部分的GAN损失函数用于实现该目的；

L1损失函数用于生成模型，以减小处理后的低照度图像与参考图像的距离；

生成模型的损失函数G_loss和判别模型的损失函数D_loss分别为如下：

其中，G()表示生成模型，D()表示判别模型；Iⁱ_dark表示待处理的低照度图像，对应于该低照度图像的高质量亮图像为Iⁱ_light，其中i表示图像中的像素点，总和为N；ω_g为生成模型参数；ω_d为判别模型参数；CE()表示经过sigmoid函数激活之后的交叉熵函数，其具体表达式为：

CE(x,z)＝max(x,0)-x*z+ln(1+e^-||x||)

其中，x表示输入的数据，z表示该数据的标签，增强后图像的标签为0，高质量亮图像的标签为1。

2.根据权利要求1所述的基于条件生成对抗网络的低照度图像增强装置，其特征在于，

所述缩小路径中还包括卷积层与池化操作层；其中，所述池化操作层的池化方法为最大池化，池化窗口大小为2*2，步长为2；每经过一次池化操作，图像缩小为原来的四分之一。

3.根据权利要求1所述的基于条件生成对抗网络的低照度图像增强装置，其特征在于，

对于放大路径，采用反卷积操作完成对图像尺寸的复原，同时由卷积层对尺寸复原后的图像做进一步的处理，并且最后一层卷积层作为输出层输出最终增强后的图像数据。

4.根据权利要求1所述的基于条件生成对抗网络的低照度图像增强装置，其特征在于，

低照度图像输入判别模型后，先连续地进行特征提取和下采样操作，再经过两个神经元个数分别为256和1的全连接层将卷积层提取的特征汇总输出；通过最终的输出值的大小，判别模型判别输入图像的真伪。

5.根据权利要求1-4中任一项所述的基于条件生成对抗网络的低照度图像增强装置，其特征在于，

在生成模型和判别模型中加入批标准化层对生成模型和判别模型进行改进，以避免所述生成模型和判别模型在训练时容易造成的梯度消失和爆炸。