[发明专利]一种基于循环生成对抗网络的图像频闪去除方法

说明书

本发明涉及一种基于循环生成对抗网络的图像频闪去除方法，其在合成频闪图像数据集的基础上训练得到循环生成对抗网络模型，其包含两个生成网络与两个鉴别网络，两个生成网络分别负责由输入的频闪图像生成无频闪图像与输入无频闪图像生成频闪图像，鉴别网络利用输入的真实图像与生成网络的生成图像，结合生成对抗思想，训练生成网络。最终达到输入频闪图像最终输出其对应的无频闪图像的目的，有效提高了图像去频闪方法的实用性。

技术领域

本发明属于计算机图像处理领域，主要涉及人工照明成像环境下的图像频闪消除。具体来说，即基于循环生成对抗网络的图像频闪去除方法。

背景技术

在人工照明环境下，例如日光灯、LED灯等照明设备由交流市电作为供电电源时，其光强会受到电网电流周期性变化的影响而表现出一定程度的波动。由于卷帘快门相机采用的是逐行曝光的方式，因此卷帘快门相机拍摄的图像能够捕获各行在不同曝光时刻光源的亮度波动，具体表现为明暗变化的条形斑纹，即图像的频闪效应。

生成对抗网络GAN是一种生成模型，其一般包含优化目标相反的两个子模型，一个称为生成器，负责拟合真实数据的潜在分布；一个称为鉴别器，作为二分类器鉴别输入数据为真实数据还是由生成器伪造的数据。循环生成对抗网络CycleGAN是一种使用无监督训练的生成对抗网络，旨在解决监督学习中配对数据难以获取的问题。CycleGAN提出的循环一致性损失，使模型可以在缺乏配对数据的情况下学习到源域与目标域之间的一一映射。生成器和鉴别器网络结构均采用卷积神经网络。

生成对抗网络将真实图片作为生成对抗网络输入，生成网络输出另一张具有特定属性的图片。

现有的图像去频闪方法有：使用多张曝光时长不同的图像进行图像融合，达到抑制频闪的目的；使用额外的先验信息如成像设备的行扫描频率、电网频率等，设计数字滤波器滤除图像中的频闪分量。

然而，现有的去频闪方法难以适用于单张图片或者相机参数、电网参数未知的情形，使用场景受限，实用性低。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种基于循环生成对抗网络的图像频闪去除方法，其引入了循环生成对抗的思想，不需要额外先验信息或匹配的无频闪图像做参考，增强了去频闪方法的使用场景与实用性。

为实现上述目的，本发明采用的技术方案是：

一种基于循环生成对抗网络的图像频闪去除方法，其包括以下步骤：

步骤1、图像去频闪模型训练；

步骤1.1、构建去频闪循环生成对抗网络框架；

所述去频闪循环生成对抗网络框架包括生成网络G、生成网络R、鉴别网络D1、鉴别网络D2，所述生成网络R用于学习消除图像频闪的映射；所述生成网络G用于学习频闪图像的生成；所述鉴别网络D1用于鉴别模型消除频闪后的图像与真实无频闪图像的区别；所述鉴别网络D2用于鉴别模型生成频闪图像与真实频闪图像的区别；

步骤1.2、输入频闪/无频闪图像训练集，进行图像去频闪模型的训练；频闪/无频闪图像训练集包括频闪图像X和无频闪图像Y；生成网络R根据输入的频闪图像X生成去除频闪后的图像Yfake，根据输入的无频闪图像Y生成本体映射无频闪图像Yiden；生成网络G根据输入的无频闪图像Y生成包含频闪的图像Xfake，根据输入的频闪图像X生成本体映射频闪图像Xiden，并计算模型的频闪损失loss_Flicker、梯度损失loss_Grad和本体映射损失loss_Iden；

将生成的去频闪图像Yfake与频闪图像Xfake分别输入生成网络G和生成网络R，生成循环频闪图像Xcycle与循环去频闪图像Ycycle，并计算循环一致性损失loss_Cycle；