[发明专利]用于抑制图像中的噪声的方法和系统

说明书

相关申请的交叉引用

本专利申请是2013年7月16日申请的、申请号为13/943,035的美国专利申请的继续，其主张2012年7月16日申请的、申请号为61/672,010的美国临时专利申请的优先权，通过引用的方式将它们作为整体合并到本文中。

技术领域

本发明的一个或多个实施例总体上涉及数字图像处理，并且更具体的，例如涉及图像中的噪声抑制。

背景技术

噪声是导致图像传感器捕获的图像(例如，视频和静止图像)退化的主要原因之一。在假设噪声是随机的和非结构化的以便可以通过平均或平滑来去除噪声的情况下，传统的噪声滤波技术一般通过应用各种平均或平滑操作来抑制噪声。

然而，噪声的非结构化随机的假设是不准确的。实际上，噪声可以包括固定模式噪声(FPN)分量(例如，由于读出电路中的列噪声、不规则像素尺寸和/或其他不规则性导致的噪声)和随机噪声分量。FPN分量可以表现为基本上不随时间变化的噪声模式，因此通过平均不能使其衰减，而是在传统的噪声滤波之后其通常变得更加明显。对于低成本传感器、具有极窄像素间距的传感器或者在执行中以极低的信噪比(SNR)工作(例如，在微光成像、热成像、范围成像或具有低SNR的其他成像应用中)的传感器来说，FPN变得更成问题。另外，对于大多数成像器来说，FPN和随机噪声分量通常是结构化的(例如，有色噪声)，并且在FPN和随机噪声分量中存在不同的相关性。因此，传统的滤波技术通常会产生具有明显结构化的伪影的图像。

发明内容

本发明公开了有效地抑制图像(例如，视频或静止图像)中的噪声的各种技术。例如，可以将图像中的噪声更准确的建模为具有结构化的随机噪声分量和结构化的固定模式噪声(FPN)分量。可以实时地以及在离线处理中稳健地并有效地估计噪声的各种参数。可以基于各种噪声参数和运动参数，对图像中的噪声进行自适应地滤波。这种滤波技术可以有效地抑制噪声，甚至是具有突出的FPN分量的图像中的噪声，并且还可以提高可能受到噪声影响的其他操作的效率。

在一个实施例中，一种方法包括：接收多个视频图像帧；通过对从所述视频图像帧提取的多个图像块进行分组，构建多个时空体积；对所述时空体积进行滤波，其中，所述滤波为对所述视频图像帧中的随机噪声(RND)分量的功率谱密度(PSD)和固定模式噪声(FPN)分量的PSD进行建模，以抑制这两种类型的噪声；以及对滤波后的时空体积的图像块进行聚合，以生成多个滤波后的视频图像帧。

在另一个实施例中，一种系统包括：视频接口，其被配置为接收多个视频图像帧；处理器，其与所述视频接口通信并被配置为：通过对从所述视频图像帧提取的多个图像块进行分组，构建多个时空体积，对所述时空体积进行滤波，其中，所述滤波为对所述视频图像帧中的随机噪声(RND)分量的功率谱密度(PSD)和固定模式噪声(FPN)分量的PSD进行建模，以抑制这两种类型的噪声；以及对滤波后的时空体积的图像块进行聚合，以生成多个滤波后的视频图像帧；以及存储器，其与所述处理器通信并被配置为存储所述视频图像帧。

本发明的范围由通过引用的方式合并到该部分的权利要求书限定。通过考虑下面对一个或多个实施例的详细描述，将向本领域技术人员提供对本发明实施例的更加完整的理解以及其实现的附加的优点。参考首先将简要介绍的附图。

附图说明

图1示出了根据本公开实施例的视频处理系统的框图。

图2A-2B示出了根据本公开实施例的视频图像中的随机噪声的例子。

图2C示出了根据本公开实施例的视频图像中的固定模式噪声(FPN)的例子。

图3A和3B示出了根据本公开实施例的、分别表示随机噪声分量和FPN分量的功率谱密度的例子的图表。

图4示出了根据本公开实施例的、抑制视频图像中的噪声的过程的流程图。

图5示出了根据本公开实施例的、构建并滤波时空体积以抑制视频图像中的噪声的过程的流程图。

图6示出了根据本公开实施例的、为了构建时空体积而提取图像块所沿着的运动轨迹的例子。

图7示出了根据本公开实施例的、对时空体积的三维(3D)光谱执行滤波的视觉表示。

图8示出了根据本公开实施例的、随机噪声分量和FPN分量的功率谱密度的例子的各种二维(2D)变换的表示。

图9示出了根据本公开实施例的、红外成像传感器捕获的输入视频图像帧的例子。

图10A示出了通过使用传统技术进行滤波产生的视频图像帧的例子。