[发明专利]基于超分辨率生成对抗网络SRGAN的图像去马赛克方法

说明书

本发明公开了一种基于超分辨率生成对抗网络SRGAN的马赛克去除方法，首先构建数据集，并对训练和测试数据进行预处理，然后生成RGGBBayer模式。然后构建超分辨率生成式对抗网络SRGAN，其次，将上述构建完成的训练数据集输入进生成对抗网络中，对于训练数据，网络每次随机选取一批图像进行学习，分别对判别器和生成器进行交替训练，然后将含有马赛克的测试数据输入生成器中，输出的图像被认为就是去马赛克后的图像。本发明与现有技术相比的优点在于：该方法将单波段Bayer灰度图像的去马赛克问题转化成压缩后4波段（rggb）子图像的2倍超分重建问题，使用超分辨率生成对抗网络SRGAN对Bayer图像进行彩色复原，使得生成图像更加接近原始真实图像。

技术领域

本发明涉及一种图像去马赛克方法，具体是指基于超分辨率生成对抗网络SRGAN的图像去马赛克方法，属于图像处理、深度学习和卷积神经网络领域。

背景技术

去马赛克是图像信号处理过程中的第一步，直接影响到图像的整体质量。由于拜尔图像每个像素只有一个颜色测量值，因此需要一个Bayer插值过程来恢复完整的彩色图像，这个过程也被称为去马赛克。因为传感器上的每个像素都在一个彩色滤光片后面，输出是一个像素值的矩阵，每个像素代表三种滤光片颜色之一的原始强度，去马赛克算法需要估计每种颜色的每个像素的颜色水平，而不仅仅是一种颜色的组成部分。由于亮度（绿色）通道的采样频率高于色度（红色和蓝色）通道，红色和蓝色通道自然会产生混叠问题。Bayer插值往往会在图像的边缘和细节上产生严重的假彩色伪影，如锯齿或拉链（相邻像素的突然和不自然的强度变化，有拉链状的图案）和紫色边缘。因此，要从CFA图像中恢复高质量的彩色图像，去马赛克方法的设计与选择尤为重要。

发明内容

本发明提供一种基于超分辨率生成对抗网络SRGAN的图像去马赛克方法，该方法旨在减少去马赛克图像的伪影现象，更好的恢复图像中高频部分(边缘或细节)的纹理信息，提升数字图像的视觉质量。

本发明的技术解决方案是：本发明提供了一种基于超分辨率生成对抗网络SRGAN的马赛克去除方法，首先构建数据集，并对训练和测试数据进行预处理，使用Bicubic插值对原始高分辨率图像进行2倍的降采样，然后生成 RGGB Bayer模式。然后构建超分辨率生成式对抗网络SRGAN ，由两部分构成：生成器和判别器；生成器的目的是将4通道压缩的CFA图像转换成3通道输出的全彩图像。鉴别器网络结构使用卷积层，然后进行批量归一化和LeakyReLU激活（α=0.2），并在整个鉴别器网络中避免最大池。其次，将上述构建完成的训练数据集输入进生成对抗网络中，对于训练数据，网络每次随机选取一批图像进行学习，分别对判别器和生成器进行交替训练，训练过程采用随机梯度下降法SGD (Stochasticgradient descent)，利用Adam(adaptive moment estimation)优化器进行最优化。感知损失函数为内容损失和对抗损失的加权和，内容损失由MSE损失和VGG特征损失组成。训练之后就可以测试网络性能，对于测试数据集，利用与训练数据同样的预处理方法，然后将含有马赛克的测试数据输入生成器中，输出的图像被认为就是去马赛克后的图像，通过计算去马赛克后的输出图像与不含马赛克的原始图像之间的峰值功率信噪比PSNR(Peak SignaltoNoise Ratio)来衡量去马赛克效果。

本发明与现有技术相比的优点在于：该方法将单波段Bayer灰度图像的去马赛克问题转化成压缩后4波段（rggb）子图像的2倍超分重建问题，使用超分辨率生成对抗网络SRGAN对Bayer图像进行彩色复原，结合生成对抗网络中博弈对抗的特点，在损失函数中同时兼顾像素级MSE损失和特征级VGG损失，使得生成图像更加接近原始真实图像。

附图说明

图1是本发明的结构示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。