[发明专利]基于生成式对抗神经网络的CFA图像去马赛克方法

说明书

本发明公开了基于生成式对抗神经网络的CFA图像去马赛克方法，具体为：步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；步骤2、构建生成式对抗网络GAN；步骤3、将步骤1中得到的训练数据集进行一系列像素操作，作为步骤2中所搭建GAN网络的输入；步骤4、设置步骤2中所搭建GAN网络的损失函数、超参数，选择网络优化算法以优化损失函数；步骤5、训练构建的生成式对抗网络GAN；步骤6、对步骤5中的已训练网络模型进行测试实验，并用彩色峰值信噪比和结构相似性指数度量去马赛克图像，说明网络性能。该方法旨在减少去马赛克图像的伪影现象，更好的恢复图像中高频部分(角或边)的纹理信息。

技术领域

本发明属于图像处理方法技术领域，具体涉及一种基于生成式对抗神经网络的CFA图像去马赛克方法。

背景技术

图像是人类获取信息、表达信息和传递信息的重要手段之一。数码相机目前逐渐成为主流的成像设备，广泛应用于智能交通、医学成像、遥感技术等领域。在日常生活中应用最广泛的是数字彩色图像，全彩色图像中每个像素有三个颜色值：红、绿和蓝。为了获得准确的图像色彩信息，数码相机需要三个颜色感应器分别接受每个像素的红、绿和蓝三种颜色分量信息，然后将三个分量合成一幅彩色图像。三个颜色传感器的放置问题会影响到后续的颜色合成。此外，三个传感器的相机价格通常很昂贵并且体积相对较大，大多数数码相机在传感器元件前面放置彩色滤波阵列(CFA)。对于CFA，Bayer模式最流行的模式之一，并且很多去马赛克算法都是针对此模式来设计的。为了从CFA图像中恢复高质量的彩色图像，因此需要使用去马赛克技术十分重要。

CFA图像去马赛克实质上是一个病态逆问题，目前存在很多算法用于图像去马赛克，其中最简单并广泛使用的是图像插值算法，最常用的线性插值方法，实现简单快捷，但它们存在一些固有的缺陷，比如在边缘出会出现伪影和细节模糊现象。最邻近插值法是比较快得一种插值法，通过复制空间位置最接近得像素值来完成插值处理。但是由于这种方法没有考虑到色彩和空间得相关性，插值结果会产生很多的虚假色和锯齿现象。双线性插值法，它通过相邻像素对未捕捉到的像素进行估计，但是这种方法重建后的图像会存在很多伪影以及色彩存在较大的失真。Bicubic是一种放大灰度图像插值算法，它可以通过独立的对每种颜色分量进行插值处理达到去马赛克的目的，但是它的输出图像往往会出现伪影现象。目前传统的去马赛克方法可以获得很高的精度，对于处理大面积颜色近似相同、亮度渐变的平滑区域使用简单的插值算法就会得到很好的效果，但是在对图像边缘和角面进行去马赛克时依然具有很大的挑战性。总的来说，这些方法存在两个问题。首先，它们利用手工制作的滤波器来进行插值，在高频信号出现变化时(如边和角)，各个颜色通道会出现空间偏移，在对邻近值进行插值时，插值结果会显示出颜色伪影或者出现拉链效应；其次，有些传统去马赛克方法忽略了不同颜色通道之间的相关性，并没有考虑到CFA中的所有图像信息。为了得到更加平滑的图像，必须考虑通道之间的相关性。

发明内容

本发明的目的是提供一种基于生成式对抗神经网络的CFA图像去马赛克方法，该方法旨在减少去马赛克图像的伪影现象，更好的恢复图像中高频部分(角或边)的纹理信息，以获得更接近事实的图像。

本发明所采用的技术方案是，基于生成式对抗神经网络的CFA图像去马赛克方法，具体按照以下步骤实施：

步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；

步骤2、构建生成式对抗网络GAN，GAN包括两部分：生成器和鉴别器，对于生成器使用U-Net模型，对于鉴别器使用稠密残差网络；

步骤3、将步骤1中得到的训练数据集进行一系列像素操作，作为步骤2中所搭建GAN网络的输入；

步骤4、设置步骤2中所搭建GAN网络的损失函数、超参数，选择网络优化算法以优化损失函数；

步骤5、训练构建的生成式对抗网络GAN，根据步骤4设置的网络超参数、损失函数以及选择的网络优化算法对训练数据集进行训练，得到与其对应的已训练网络模型；