[发明专利]一种基于互信息损失函数的无监督一锅式多帧图像去噪方法

说明书

本发明公布了一种基于互信息损失函数的无监督一锅式多帧图像去噪方法，属于图像处理技术领域。本发明在使用多帧图像数据进行训练之后，在面对新数据时，仅需要单张含噪图像即可完成去噪，同时本发明不需要任何干净图像作为标签，将多帧图像作为一个整体输入深度学习模型从而进行更加全局的学习和更加综合的噪声模式信息挖掘，与现有技术相比，本发明可以最充分地利用多帧含噪图像中隐含的交互信息。

技术领域

本发明提供一种图像去噪方法，具体涉及一种基于互信息损失函数的无监督一锅式多帧图像去噪方法，属于图像处理技术领域。

背景技术

现有的图像去噪方法可以被分为基于解析的和基于学习的两类。其中，基于解析的方法通过分析噪声形成的物理过程估计噪声模型或者通过特殊定义的滤波器来评估局部相似性以实现去噪。代表性的技术有非局部均值方法(NL-means)[1]和三维块匹配方法(BM3D)[2]等。然而，由于图像去噪从数学上是一个非正定的反问题，这使得在现实场景中得到精确的噪声模型几乎不可能。而基于物理经验或者统计估计构造噪声模型的难度很高，并且这类方法往往难以在真实图像场景中表现出良好的普适性。

另一类是基于学习的方法，它们不关注具体的物理场景和噪声模型，而是以大量数据为驱动，利用深度学习技术拟合得到用于对含噪图像进行去噪的模型。这些模型通常具有百万级以上的巨大参数量。代表性的技术有去噪卷积神经网络(DnCNN)[3]等。基于学习的方法克服了基于解析的方法的上述缺陷，但这类有监督的方法(Noise2Clean，简记为N2C)依赖大量高质量的干净图像作为模型训练的标签。然而，在许多真实场景下，干净图像不可能或者难以获取。比如医学中CT放射剂量的高低决定了所获取图像包含的噪声强弱，但考虑到患者所承受的放射伤害，为获取干净图像而进行过高剂量的放射是不可取的。

为克服上述有监督学习方法对干净图像数据的高度依赖和干净图像数据难获取之间的不平衡问题，诸多无监督的学习方法被开发出来。这些方法不需要干净图像作为标签，仅依靠对含噪图像的学习就能得到具有去噪能力的模型。按照对同一采集视野所需要的相应的含噪图像的数量，这些方法可以被分为两类：一类在模型训练时对每一采集视野仅需要单一的含噪图像，这类方法通常通过掩模重编码的思想来训练满足J-不变性的模型，从而实现噪声图像的自监督。代表性的技术有DIP[4]、Noise2Void[5]和Noise2Self[6]等。另一类是Noise2Noise(简记为N2N)[7]，它在模型训练时对每一采集视野需要两张含噪图像，并要求两张图像之间的噪声必须在像素级上呈现统计意义下的不相关性并且噪声分布的均值必须为0。

尽管上述无监督学习方法的提出在一定程度上解决了有监督方法对干净图像的高度依赖，但包括N2N和自监督在内的诸多无监督方法的去噪效果显著差于有监督方法。此外，它们对数据的利用实际上是不充分的：尽管获取干净图像很难，但在许多真实场景中，对应同一采集视野的多帧含噪图像的获取是容易的甚至自然的。例如摄影中的包围曝光成像、天文学中的深空叠加成像、医学中的光学相干断层成像等，这些技术的实施过程本就包含对多帧含噪图像的采集。

专门针对多帧图像去噪的研究较少，大多伴随着单张图像去噪方法衍生而出。Tico[8]最早将NL-means方法从单张图像去噪场景迁移到多帧图像去噪问题中。Buades等[9]提供了一整套完善且复杂的多帧图像去噪方案。Hasinoff等[10]将混合2D/3D维纳滤波器应用于多帧图像融合来生成高质量的高动态范围图像，该方法已经被集成在Camera2API之上并被几乎所有的Android手机用户所使用。配准后叠加(average afterregistration,AAR)[11]通过使用加权平均化来线性融合带有零均值噪声的多帧图像。以上这些方法均为单张图像去噪方法的迁移应用且都是非学习的方法，因此它们在真实去噪场景中的泛化性非常有限。而现有的基于学习的多帧图像去噪方法极少，通常的做法是将多帧数据直接视为相互独立的单张数据，继而使用上述无监督方法(如N2N等)进行去噪。这样的方法缺乏对多帧图像中所包含的互相关信息的充分利用，难以真正有效地挖掘出多帧图像背后隐藏的噪声模式，因此也就无法达到与有监督方法相当的去噪效果。

发明内容