[发明专利]基于生成对抗网络的图像增强系统和图像增强方法

权利要求书

1.一种基于生成对抗网络的图像增强系统，包括：

原始图像采集模组，生成原始拍摄图像集合，所述原始图像拍摄集合包括多个原始拍摄图像对，每一原始图像对包括一原始夜景拍摄图像和一原始常光拍摄图像，每一原始拍摄图像对的所述原始夜景拍摄图像与所述原始常光拍摄图像是针对同一拍摄对象形成的拍摄图像；

对抗网络模型，包括：

图像合成模组，接收来自所述原始图像采集模组的原始拍摄图像，并输出合成图像；

图像判别模组，接收来自所述图像合成模组的合成图像，并输出增强图像；

多损失函数，根据所述图像判别模组的输出结果感知图像损失，并调整所述图像合成模组输出的合成图像，改善增强效果，其特征在于：所述损失函数包括对抗损失函数、循环一致性损失函数、感知损失函数和总损失函数。

2.根据权利要求1所述的基于生成对抗网络的图像增强系统，其特征在于，所述图象增强系统还包括注意力特征生成模组，所述注意力特征生成模组采用图注意力机制网络模型对原始夜景拍摄图像和原始常光拍摄图像中的邻近节点特征加权求和，生成夜景注意力特征图和常光注意力特征图。

3.根据权利要求2所述的基于生成对抗网络的图像增强系统，其特征在于，所述图像合成模组包括常光图像合成模组，所述常光图像合成模组将所述原始夜景拍摄图像和所述夜景注意力特征图合成为常光合成图像，所述常光图像判别模组接收所述常光合成图像和所述原始常光拍摄图像，输出增强图像。

4.根据权利要求2或3所述的基于生成对抗网络的图像增强系统，其特征在于，所述图像合成模组还包括夜景图像合成模组，所述夜景图像合成模组将所述原始常光拍摄图像和所述常光注意力特征图合成为夜景合成图像，所述夜景图像判别模组接收所述夜景合成图像和所述原始夜景拍摄图像，输出增强图像。

5.根据权利要求2所述的基于生成对抗网络的图像增强系统，其特征在于，所述图像合成模组的网络结构采用Unet和残差块网络。

6.根据权利要求5所述的基于生成对抗网络的图像增强系统，其特征在于，所述Unet网络包括编码块、解码块、下采样和上采样，所述原始夜景拍摄图像和所述夜景注意力特征图经过所述编码块中不同层次的卷积，最大池化的采样，学习到原始夜景拍摄图像的深层特征，所述深层特征经过反卷积上采样和解码块，然后依次经过卷积层、残差块网络和上采样层输出合成图像。

7.根据权利要求1所述的基于生成对抗网络的图像增强系统，其特征在于，所述图像判别模组加入patch GAN,将来自所述图像合成模组输出的合成图像输入到卷积网络中，得到n*n的特征图，经鉴别得到n*n矩阵，最后输出增强图像结果，所述结果以所述矩阵的均值作为真/伪结果。

8.根据权利要求4所述的基于生成对抗网络的图像增强系统，其特征在于，所述对抗损失函数，满足如下公式：

其中：G_AB是常光图像合成模组，X是原始夜景拍摄图像，G_AB(x)表示原始夜景拍摄图像经过生成器G_AB生成的常光合成图像；

G_BA是夜景图像合成模组，y是原始常光拍摄图像，G_BA(y)表示原始常光拍摄图像经过所述夜景图像合成模组G_BA生成的合成夜景图像；

D_B是常光图像判别模组，用来判别生成的常光合成图像和原始常光拍摄图像的真伪；

D_A是夜景图像判别模组，用来判别生成的夜景合成图像和原始夜景拍摄图像的真伪。

9.根据权利要求8所述的基于生成对抗网络的图像增强系统，其特征在于，所述循环一致性损失函数，满足如下公式：

其中：Log是对数运算，E表示分布函数期望值。