[发明专利]基于生成式对抗神经网络的CFA图像去马赛克方法

权利要求书

1.基于生成式对抗神经网络的CFA图像去马赛克方法，其特征在于，具体按照以下步骤实施：

步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；

步骤2、构建生成式对抗网络GAN，GAN包括两部分：生成器和鉴别器，对于生成器使用U-Net模型，对于鉴别器使用稠密残差网络；

步骤3、将步骤1中得到的训练数据集进行一系列像素操作，作为步骤2中所搭建GAN网络的输入；

步骤4、设置步骤2中所搭建GAN网络的损失函数、超参数，选择网络优化算法以优化损失函数；

步骤5、训练构建的生成式对抗网络GAN，根据步骤4设置的网络超参数、损失函数以及选择的网络优化算法对训练数据集进行训练，得到与其对应的已训练网络模型；

步骤6、对步骤5中的已训练网络模型进行测试实验，并用彩色峰值信噪比和结构相似性指数度量去马赛克图像，说明网络性能；

所述步骤1具体包括以下步骤：

步骤1.1、从现有数据库中随机找出若干幅彩色图像作为彩色图像数据集，使用滤波器对每一幅彩色图像进行下采样操作，得到的下采样图像为彩色滤波阵列图像，将所有的CFA图像组成CFA图像数据集，彩色图像数据集与CFA图像数据集组成训练数据集；

步骤1.2、对步骤1.1得到的训练数据集进行预处理操作，将训练数据集中的每张图像进行0.7，0.8，0.9，1倍的缩放，根据训练数据集中图像的大小，选择适合尺度的滑动窗口进行平移操作，即完成对图像的小块分割得到若干个小块图像，以提高网络训练性能；紧接着对每个小块图像进行90°旋转、180°旋转、270°旋转和上下翻转的增广操作，从而得到数量充足的训练数据集；

所述步骤2具体包括以下步骤：

步骤2.1、构建GAN中的生成器部分，采用U-Net模型，设置该网络的每层参数；

步骤2.2、构建GAN中的鉴别器部分，采用稠密残差网络模型，设置该网络的每层参数；

所述步骤2.1中，生成器结构采用U-Net模型，其结构依次为：输入层—第1个卷积层—第1个PReLU激活函数层—第2个卷积层—第1个批量归一化操作层—第2个PReLU激活函数层—第3个卷积层—第2个批量归一化操作层—第3个PReLU激活函数层—第4个卷积层—第3个批量归一化操作层—第4个PReLU激活函数层—第5个卷积层—第4个批量归一化操作层—第5个PReLU激活函数层—第6个卷积层—第5个批量归一化操作层—第6个PReLU激活函数层—第7个卷积层—第6个批量归一化操作层—第7个PReLU激活函数层—第8个卷积层—第7个批量归一化操作层—第8个PReLU激活函数层—第1个反卷积层—第8个批量归一化操作层—第9个PReLU激活函数层—第2个反卷积层—第9个批量归一化操作层—第10个PReLU激活函数层—第3个反卷积层—第10个批量归一化操作层—第11个PReLU激活函数层—第4个反卷积层—第11个批量归一化操作层—第12个PReLU激活函数层—第5个反卷积层—第12个批量归一化操作层—第13个PReLU激活函数层—第6个反卷积层—第13个批量归一化操作层—第14个PReLU激活函数层—第7个反卷积层—第14个批量归一化操作层—第8个反卷积层—第1个Tanh激活函数层—输出层；

其中，输入层表示四通道压缩CFA图像，输出层表示输出图像；上述结构中第1个卷积层输出与第14个批量归一化操作层输出相连，第1个批量归一化操作层输出与第13个批量归一化操作层输出相连，第2个批量归一化操作层输出与第12个批量归一化操作层输出相连，第3个批量归一化操作层输出与第11个批量归一化操作层输出相连，第4个批量归一化操作层输出与第10个批量归一化操作层输出相连，第5个批量归一化操作层输出与第9个批量归一化操作层输出相连，第6个批量归一化操作层输出与第8个批量归一化操作层输出相连，构成对称连接；

步骤2.1中，构建的GAN模型中生成器结构的各层参数设置如下：

将输入层的输入通道设置为4；将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为16；将第2个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为32；将第3个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为64；将第4个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为128；将第5个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第6个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第7个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第8个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第1个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第2个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第3个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第4个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第5个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为128；将第6个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为64；将第7个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为32；将第8个反卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为3；

对于生成器中的所有PReLU激活函数层，其函数定义为：

PReLU(x_p)＝max(0,x_p)+κ×min(0,x_p) (1)

其中，κ表示一个正常数，κ∈(0,1)，设置κ为0.1；x_p表示PReLU激活函数层的输入向量；

对于生成器中的Tanh激活函数层，其函数定义为：

其中，x_t表示Tanh激活函数层的输入向量；

步骤2.2中，鉴别器结构采用稠密残差网络模型，其结构依次为：输入层—第1个稠密残差块—第2个稠密残差块—第3个稠密残差块—第4个稠密残差块—第5个稠密残差块—卷积层—Sigmoid激活函数层—输出层；

其中，输入层为生成器的输出图像与相应真实图像；输出层为鉴别器判决结果，为0或1；第1个稠密残差块、2个稠密残差块、3个稠密残差块及4个稠密残差块的输出分别与第5个稠密残差块输出相连，构成稠密残差块之间的跳远连接；

鉴别器中的所有稠密残差块的结构为：第1个PReLU激活函数层—第1个卷积层—第1个批量归一化操作层—第2个PReLU激活函数层—第2个卷积层—第2个批量归一化操作层—第3个PReLU激活函数层—第3个卷积层—第3个批量归一化操作层；

其中，第1个PReLU激活函数层输入与第1个批量归一化操作层输出相连；第1个批量归一化操作层输出与第2个批量归一化操作层输出相连；第2个批量归一化操作层输出与第3个批量归一化操作层输出相连；第1个PReLU激活函数层输入与第2个批量归一化操作层输出相连；第1个批量归一化操作层输出与第3个批量归一化操作层输出相连，最终构成稠密残差块的稠密连接和跳远连接；

所构建的GAN模型中鉴别器结构的各层参数设置如下：

对于鉴别器中的所有PReLU激活函数层，其函数定义为见公式(1)，参数设置与(1)中一致；

对于鉴别器中的Sigmoid激活函数层，其函数定义为：

其中，x_s表示Sigmoid激活函数层的输入向量；鉴别器中稠密残差块的所有卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为64；

所述步骤3具体包括以下步骤：

将步骤1训练数据集中的CFA图像数据集为输入CFA图像，对输入CFA图像进行一系列像素操作：取出CFA图像中的红，绿，蓝三种颜色分量，形成三通道CFA图像；然后将绿色分量进一步分离成两个通道，从而形成四通道CFA图像；最后对这四通道图像进行像素压缩，只提取不为0的像素值；将最终得到的四通道压缩CFA图像作为生成器的输入，生成器的输出为插值后的输出图像；将输出图像与真实图像同时输入鉴别器中，鉴别器的输出将反馈到生成器中。