[发明专利]一种序列图像条带噪声消除方法

说明书

本发明公开了一种序列图像条带噪声消除方法，包括：利用三维卷积构建序列图像时空关联信息提取模块；利用二维卷积构建图像二维重建模块；根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络；创建序列图像训练集；利用所述序列图像训练集对所述初始卷积神经网络进行训练，得到训练后的卷积神经网络；将含有条带噪声的序列图像送入所述训练后的卷积神经网络中进行处理，得到去噪后的图像。该序列图像条带噪声消除方法将序列图像时空关联信息提取模块加入到原始卷积神经网络中，可以通过学习帧间相似信息更好地预测噪声。

技术领域

本发明属于数字图像处理技术领域，具体涉及一种序列图像条带噪声消除方法。

背景技术

图像传感器由于制造工艺的限制和环境的影响，在成像过程中会产生条纹状的固定模式噪声，从而严重影响了图像信噪比。特别是在红外或高光谱成像系统中，图像因条带噪声的污染而大量丢失图像细节，从而对后续的目标检测识别带来巨大困难。鉴于制造工艺的改进周期长、投入大，因此，基于信号处理的图像复原技术对消除图像条带噪声还原原始场景信息具有重要价值。

传统的图像去噪算法利用图像先验模型进行去噪，比如非局部自相似模型、梯度模型、稀疏字典模型与马尔科夫随机场模型。经典的三维块匹配(BM3D)算法及其变体对彩色图像的扩展CBM3D，其主要思想是基于三维非局部相似块匹配。三维非局部相似块匹配与传统的非局部平均思想(NLM)不同，其采用硬阈值线性变换来寻找相似块，然后用联合滤波的方法对这些三维数组进行处理，最后通过逆变换把处理后的结果返回到原图像中，从而得到去噪后的图像。传统的图像去噪算法通常在处理优化问题上比较复杂，去噪过程中往往涉及繁琐的调参，且在噪声去除和细节保留方面的效果也不尽如人意。

近年来，卷积神经网络(CNN)不断应用到图像处理中，很多学者已经开发研究了许多用于图像去噪的卷积神经网络模型并取得不错的效果。2017年，Zhang等提出了一种深度残差网络(DnCNN)用于去除图像中的高斯噪声。DnCNN不对图像本身进行学习，而是以输出与噪声的L2范数为损失函数来训练网络，并且在该网络中引入BN层以解决深层网络无法收敛的问题。通过实验结果对比，DnCNN在不同噪声水平是的去噪效果优于BM3D等算法模型。2018年，Xiao等提出了一种十层的残差网络(ICSRN)用于去除图像中的条带噪声，该网络通过对网络层进行拼接以得到更多的特征表示，ICSRN对条带噪声的去除取得了一定效果，但在细节恢复方面仍需提高。目前，图像去噪领域已经取得了很大发展，各种卷积神经网络模型被不断提出，但都普遍存在噪声残留严重、细节恢复效果差等问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种序列图像条带噪声消除方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种序列图像条带噪声消除方法，所述方法包括：

S1：利用三维卷积构建序列图像时空关联信息提取模块；

S2：利用二维卷积构建图像二维重建模块；

S3：根据所述序列图像时空关联信息提取模块和所述图像二维重建模块构成初始卷积神经网络；

S4：创建序列图像训练集；

S5：利用所述序列图像训练集对所述初始卷积神经网络进行训练，得到训练后的卷积神经网络；

S6：将含有条带噪声的序列图像送入所述训练后的卷积神经网络中进行处理，得到去噪后的图像。

在本发明的一个实施例中，所述序列图像时空关联信息提取模块包括依次连接的空间维卷积、时间维卷积、融合层和降维层，其中，所述空间维卷积包括第一三维卷积层和第一激活层，所述时间维卷积包括第二三维卷积层和第二激活层，所述融合层包括第三三维卷积层和第三激活层，所述降维层的表达式为：

Y1_squ＝squeeze(Y1_32)