[发明专利]一种基于卷积神经网络的混合退化图像增强方法

说明书

为了解决单一图像增强模型无法处理混合退化图像的问题，本发明提供了一种基于卷积神经网络的混合退化图像增强方法，该方法提出了一种基于卷积神经网络的混合退化图像的增强模型——全卷积亚像素残差稠密网络FCSRDN，该网络基于全卷积神经网络FCN，通过残差连接ResNet和稠密连接DenseNet，完成对原始图像的各级特征融合，结合亚像素卷积层进行上采样，放大图像尺寸，最终得到增强图像。本发明方法可以接受任意大小的网络输入，与目前已有方法相比，能同时完成提升对比度、分辨率和去噪等三个方面的增强，且在各方面都达到了较好的增强效果。

技术领域

本发明属于计算机视觉增强技术，特别涉及针对混合退化图像的基于卷积神经网络的图像增强模型。

背景技术

图像是当下信息传播最重要的媒介之一，在众多应用领域都有着举足轻重的地位。然而，由于成像设备、成像环境、拍摄人员技术水平等参差不齐以及传播过程中的失真等问题，大量图像存在诸如分辨率低、亮度低、噪声、色偏、畸变等退化现象。图像增强的目的是增强图像中的有用信息，提升图像质量，改善图像的视觉效果。

传统的图像增强技术，经过长时间的发展，技术逐渐纯熟，在多领域取得了良好的表现。传统的图像增强方法可大致分为三类：空间域方法、频率域方法和混合域方法。其中，空间域方法是直接对像素值进行处理，如直方图均衡、伽玛变换等；频频率方法是在某种变换域内操作，如小波变换等；混合域方法是结合了空间域和频率域的一些方法。随着计算机科学的发展，近年来再度兴起的深度学习技术在短时间内赶超传统算法，成为了最先进的图像增强方法。

在图像对比度增强方面，如自编码器、CNN(Convolutional Neural Network)和FCN(Full Convolutional Network)都是典型的增强网络模型。LLNet(Low-light ImageEnhancement Network)是堆叠稀疏去噪自编码器的一种，利用非线性方法模拟低光条件形成数据集，自编码器可以有效实现对比度增强，同时具有一定去噪效果，但去噪后图像比较模糊。在这一基础上，LLCNN(Low-light Image Enhancement Convolutional NeuralNetwork)设计多尺度特征图抑制梯度消失，同时使用结构相似度作为损失函数训练模型，可以更多地保留纹理特征。基于全卷积神经网络(Fully Convolutional Network,FCN)直接通过端到端训练，利用卷积网络完成原始图像地直接处理，效果较为理想。

在分辨率增强方面，SRCNN(Super-Resolution Convolutional Network)、VDSR(Very Deep Convolutional Networks for Super-Resolution)、RDN(Residual DenseNetwork)为效果突出的分辨率增强模型。SRCNN模型将图像块提取、非线性映射和图像重建三个阶段统一到CNN框架，实现从低分辨率到高分辨率图像的端到端学习。VDSR模型提出了ResNet框架，通过残差堆叠更多卷积层来增加网络深度，同时通过卷积前图像补0操作实现尺度一致，最终完成分辨率增强。RDN的方法利用残差稠密网络实现特征重用，通过上采样操作实现低分辨率图像到高分辨率图像的端到端映射。

除图像对比度增强和图像超分辨率重建外，深度学习在去图像噪方面也取得了不俗的成就。CNN模型被视为图像去噪的马尔可夫模型(Markov Model)推断结果的近似，但CNN模型避免了Markov Model在概率学习和推断过程中的计算困难，从而降低了计算复杂度。同时，利用多层全连接结构的栈式去噪自编码器，多层感知机模型，深度卷积自编码器网络结构都是具有代表性的深度去噪模型和框架。