[发明专利]图像去噪神经网络架构及其训练方法

说明书

一种图像去噪神经网络训练架构，包括图像去噪神经网络和纯净数据神经网络，并且图像去噪神经网络和纯净数据神经网络彼此之间共享信息。

相关应用的交叉引用

本发明专利申请要求于2017年9月26日提交的美国临时专利申请序列号第62/563,623号的优先权和于2018年3月20日提交的美国非临时专利申请序列号第15/926,301号的优先权，其全部内容通过引用并入本文。

技术领域

本公开的示例性实施例的各方面涉及图像去噪神经网络架构和训练图像去噪神经网络的方法。

背景技术

当在相对弱的光照条件下拍摄数字图像时，例如在黄昏或夜间，所得图像中通常存在噪声(也称为图像噪声)。图像噪声可以呈现为亮度或颜色信息的随机变化，该随机变化由例如传感器(例如，电荷耦合器件(charge-coupled device，CCD)传感器、互补金属氧化物半导体(complementary-metal-oxide semiconductor，CMOS)传感器)和/或捕捉设备(例如，数码相机、手机相机)的相关电路造成。由于弱光摄影中存在较低光子计数(例如，由于捕捉设备的传感器接收和/或测量的光子较少)，捕捉设备产生附加噪声。图像噪声是合成图像中的不良分量，且导致较低质量的图像。

通常，图像噪声包括两个分量——高斯噪声和泊松噪声。高斯噪声是更普遍的噪声类型(例如，数字噪声)，通常是捕捉设备中电路噪声的结果。泊松噪声不太普遍，因为当基础信号(例如，弱光图像信号)相对弱并且传感器响应被量化时，泊松噪声发生得更频繁(例如，更普遍或更明显)。在较强光照条件下，泊松噪声趋于正态分布，使得在大多数图像(例如，在明亮的图像中)中高斯噪声比泊松噪声更普遍。

当在相对弱的光照条件下捕捉图像时，图像噪声具有两个分量——信号相关分量(其可以被建模为根据光子到达相机传感器(例如，CCD传感器或CMOS传感器)的速率分布的泊松噪声)和信号独立分量(其可以被建模为高斯噪声且由于图像中的平稳干扰而产生)。有效噪声包含两个图像噪声分量，并且可以称为“泊松-高斯噪声”。由于信号相关噪声分量，有效噪声的噪声方差不是恒定的，而是随着图像的像素值的期望而变化。

去除(或减少)数字图像(例如，数字图像信号)中的泊松-高斯噪声的一种当前方法包括应用方差平稳化变换(也称为“VST”)，诸如Anscombe或广义Anscombe变换，以产生具有带有恒定方差的噪声分量的数字信号，该恒定方差独立于输入信号的值，该噪声分量可以被认为类似于加性高斯噪声(例如，具有单位方差的加性高斯白噪声(additive whiteGaussian noise，AWGN))。也就是说，将VST应用于数字图像，以将泊松噪声变换为具有恒定方差的噪声，泊松噪声的方差等于其均值且因此取决于基础像素值。然后，通过使用去噪算法(诸如通过块匹配和3D滤波(也称为“BM3D”))来去除(或基本去除)变换后的噪声，该去噪算法可以有效地去除具有恒定方差的噪声(诸如AWGN)。最后，逆方差平稳化变换(也称为“IVST”)，诸如逆Anscombe变换，被应用于已去噪数字图像以将其变换回其原始域。总而言之，这种从图像中去除或减少泊松-高斯噪声的方法可以被称为“VST-BM3D-IVST”。

然而，VST-BM3D-IVST方法对第一步中使用的正向变换敏感，要求正向变换的无偏差的逆变换可用于使图像返回到其原始域。此外，VST-BM3D-IVST方法的性能在非常低的亮度值下相对较差，诸如在非常弱的光照水平下拍摄的图像的情况。

最近尝试的对VST-BM3D-IVST方法的一些改进包括使用噪声图像与渐进细化(或滤波)的图像的组合的迭代滤波，但是这些改进极大地增加了VST-BM3D-IVST方法的复杂性，且可能不适合与相对低功率(例如，低处理功率)的移动设备等一起使用。

此外，最近一种称为DeNoiseNet的弱光图像去噪的深度学习方法尝试学习从泊松噪声图像(例如，具有相对高的泊松噪声量的图像)到纯净(已去噪)图像的变换。然而，这种方法没有考虑噪声方差平稳化。