[发明专利]生成网络模型、DD-SRGAN模型及红外图像超分辨重建算法

说明书

本发明公开了一种生成网络模型、DD‑SRGAN双判别生成对抗网络模型及红外图像超分辨重建算法；本双判别对抗模型在图像判别器的基础上增设特征判别器,并在生成网络中引入无BN(Batch Normalization)层的残差中的残差块RIRB(Residual in Residual Block)结构，内部残差块密集连接，外部残差块远、近端跳跃连接。通过双判别器和生成器的对抗优化训练促使生成器生成更高质量的红外图像，为后续实现红外图像检测与识别提供保障。本方法有效地提高了红外图像的质量，弱化了图像细节伪影问题，使得图像的边缘和纹理特征更加明显。

技术领域

本发明涉及信息技术与信息化领域，具体涉及一种生成网络模型、DD-SRGAN双判别生成对抗网络模型及红外图像超分辨重建算法。

背景技术

红外图像是通过“测量”物体向外辐射的热量而获得的，因此和可见光相比，能够在恶劣环境下有效获取图像信息。但由于硬件条件限制，红外图像分辨率差、对比度低、信噪比低、视觉效果模糊等。因此利用图像处理的方法获取高分辨率红外图像在遥感、监控、目标检测、军事等领域有重要的现实意义。

图像超分辨重建技术SR(Super Resolution)借助相关网络模型，可以有效地提高图像的质量。其主要分为三个方向：基于插值的方法、基于重建的方法、基于学习的方法。

基于插值的方法是通过将低分辨率图像的像素点映射到高分辨率图像上，对缺失的像素点用已知的像素点来估计，经典的方法有局部边缘自适应法、双三插值法。

基于重建的方法是通过挖掘低分辨率图像中高频信息，结合图像的先验信息，求解低分辨率成像的逆过程，从而恢复图像中的高频信息。如相似性冗余先验、梯度轮廓先验算法等。基于插值和重建的方法相对较为简单，虽能实现图像的超分辨重建但效果并不理想。

基于学习的方法是通过学习大量的样本集，从而构建出含有先验信息的低分辨率图像到高分辨图像之间的映射关系，实现图像超分辨重建。该方法相比于传统算法在图像特征提取方面表现出更大优势，后来随着深度学习的发展，该方法在图像超分辨领域中占据着主导地位。

2014年，Chao Dong等人提出的SRCNN算法用三层卷积网络对图像进行超分辨重建，首次实现了深度学习在图像超分辨重建上的应用。

此后，又有学者在此基础上对网络模型进行改进优化，2016年Kim所提出的VSDR、DRCN算法，通过加深网络模型深度来重建出质量更好的高分辨率图像。

2017年Ledig等人提出基于GAN网络的SRGAN算法，采用判别对抗的训练模式，使超分辨重建出的图像在视觉感知上达到了更好的效果。

2018年，Zhang等人提出的RDN算法，利用密集连接的思想能充分提取底层模型的低分辨率图像特征。RDN中的局部特征融合能自适应地学习来自先前和当前局部特征的有效信息，实现连续记忆(CM)机制，从而降低数据维度，增强模型的泛化能力，使训练更加稳定。

特别地，2018年SRGAN算法在红外图像领域的应用，取得了较好的效果。但该算法在生成器上采用常规的SRCNN网络结构，相对来说模型较为简单，特征提取不够充分，使得生成的红外图像在高频细节上存在丢失问题。此外，该网络层中，BN层结构限制了模型的泛化能力，会造成红外图像产生不好的伪影。

发明内容

由于现有技术存在上述缺陷，本发明提供了一种红外图像超分辨重建算法，以解决现有红外图像超分辨能力差、效果不突出、伪影以及图像模糊的问题。

为实现上述目的，本发明提供如下技术方案：

一种生成网络模型，包括16个外部残差块、4个内部残差块、两个亚像素卷积层和多个跳跃连接，其中，子像素卷积层使用64个滤波器，剩余卷积层均采用128个滤波器；残差块中去掉BN层，只保留卷积层和池化层。