[发明专利]图像处理设备和图像处理方法

说明书

技术领域

本公开涉及一种图像处理设备和图像处理方法，并且具体而言，涉及一种降低在图像中包括的噪声的图像处理设备和图像处理方法。

背景技术

在拍摄图像时，通过合成(composite)连续拍摄的多个图像(帧)获得具有降低噪声的图像的技术是公知的。例如，在要处理的图像(目标图像)上合成在拍摄要处理的图像之前或之后连续拍摄的、并且通过运动估计和运动补偿而对齐(align)的多个图像(参考图像)的情况下，按照时间方向积分几乎彼此相同的图像。因此，消除了在每个图像内随机包括的噪声，并因而降低了噪声。此后，通过这种方法而得到的噪声降低(NR)被称为帧NR。

过去，已估计了相对于在目标图像内设置的目标块的局部运动矢量，并且已经使用所估计的局部运动矢量来计算两个图像之间的、表示施加于整个图像的变化的全局运动。全局运动通常表示作为图像的静止图像部分的背景的运动和运动量。

作为使用全局运动的技术，例如公开了包含如下操作的技术：将图像内的背景静止图像部分与运动拍摄主题(subject-of-shooting)部分分离；使用与从全局运动生成的全局运动矢量对应的局部运动矢量来生成运动补偿图像(MC图像)；并且合成运动补偿图像和目标图像(例如，参见JP 2009-290827A)。在该技术中，可适用地使用全局运动矢量和局部运动矢量来生成MC图像，并执行合成处理。

在该技术中，例如，当局部运动矢量的可靠性较高时，能够通过使用根据局部运动矢量而确定的MC图像来执行考虑运动拍摄主题的合成处理。此外，在其中局部运动矢量的可靠性较低的情况下，不使用局部运动矢量而使用根据全局运动矢量确定的MC图像，从而避免生成不确定是包含运动拍摄主题还是噪声的MC图像，并因此能够执行稳定的合成处理。

发明内容

然而，在使用上述技术的情况下，当要根据多个图像计算全局运动矢量时，存在的问题是：在例如其中图像内存在较少数量的特征点的情形中，不能唯一确定全局运动矢量。此外，存在的问题是：在例如其中在图像内包括彼此不同的多个运动的情形中，不能唯一确定全局运动矢量。

此外，一般而言，例如当切换拍摄场景时或当放大或缩小拍摄范围时，全局运动矢量快速变化。存在的问题是：因为在使用许多全局运动矢量的图像与使用许多局部运动矢量的图像之间存在明显噪声(apparent noise)的差异，所以当在那些图像之间途中执行切换时，用户非常有可能感觉到不舒适。特别是，在对运动图像执行图像处理的情况下，因为各帧彼此之间的连续性具有极大的重要性，所以当NR强度在各帧间不同时，与不执行NR处理的情况相比，给用户以更不自然的感觉。

有鉴于此，希望提供一种新颖而改进的图像处理设备和图像处理方法，在考虑全局运动矢量的图像处理设备中，不管全局运动矢量的可靠性如何变化都能够获得稳定的NR效果，并且即使在全局运动矢量快速改变的情况下也能够避免产生不自然的NR效果。

根据本公开实施例，提供了一种图像处理设备，包括：检测部分，检测图像处理设备的运动；混合(blend)比计算部分，基于由检测部分检测的图像处理设备的运动计算第一运动补偿图像对第二运动补偿图像的混合比，根据每个指示帧间运动的第一运动矢量和第二运动矢量来分别确定第一运动补偿图像和第二运动补偿图像；混合部分，通过依据由混合比计算部分计算的混合比混合第一运动补偿图像和第二运动补偿图像来生成运动补偿图像；以及添加部分，将由混合部分生成的运动补偿图像添加到目标图像。

第二运动补偿图像可以是基于关于用于确定第一运动补偿图像的帧而延迟一帧或更多帧所获得的帧来确定的运动补偿图像。

第一运动矢量可以是针对帧中设置的每个块计算的矢量。

第二运动矢量可以是针对每个帧计算的矢量。

检测部分可以通过检测图像处理设备的移动来检测图像处理设备的运动。

检测部分可以通过检测固定元件(fixing member)到图像处理设备的连结来检测图像处理设备的运动。

根据本公开的另一方面，提供了一种图像处理方法，包括：检测图像处理设备的运动；基于图像处理设备的运动计算第一运动补偿图像对第二运动补偿图像的混合比，根据每个指示帧间运动的第一运动矢量和第二运动矢量来分别确定第一运动补偿图像和第二运动补偿图像；通过依据所计算的混合比混合第一运动补偿图像和第二运动补偿图像来生成运动补偿图像；以及将运动补偿图像添加到目标图像。