[发明专利]利用不同分辨率的图像形成改良图像

说明书

技术领域

本发明涉及从多个图像中生成改良的图像。更具体地，涉及使用多个图像来形成具有减少的运动模糊和减少的噪声的改良图像。

背景技术

在图像捕捉过程中运动时的弱光摄像引起图像中的运动模糊是要解决的问题。运动可以是被成像的整个场景一起运动的全局变化，或者是场景的一个或多个部分相对于剩余场景以不同速度或不同方向运动的局部变化。全局运动是因为在图像捕捉过程中场景和相机之间的相对运动。局部运动是因为场景内的物体相对于场景的其他部分运动。在场景的不同部分中可以发生不同的局部运动。

在曝光时间短、运动缓慢的情况中，单个图像捕捉可以用于捕捉具有良好图像质量的图像。然而，因为得到高信噪比的图像所需的曝光时间相对于在图像捕捉过程中出现的运动变得更长，或可用光减少，捕捉的图像质量以图像中的运动模糊增加以及噪声增加的形式降低。

对于消费者的数码相机，有像素的尺寸随时间变得越来越小的趋势，这减少了在曝光过程中捕捉光的可用区域，从而噪声变成大问题。可以增加曝光时间来补偿较小的像素，但是另一方面运动模糊会变成大问题。因此，用于增加像素对光的灵敏度的方法已描述于Hamilton的美国专利申请No.11/191,729(代理机构号91045)中，其在图像传感器中增加了全色像素。因为运动相对于曝光时间或可用光的减少而增加，可以进行一系列的折衷。可以在摄像空间中进行一些折衷以增加空间分辨率、时间分辨率或图像质量，但是重要的是要注意到，有收获也会损失。例如，可以减少曝光时间来减少运动模糊从而增加时间分辨率，但是代价是增加了图像中的噪声。闪光灯是减少图像中的噪声的有效方式，并且通过更短的曝光时间，增加时间分辨率，但是代价是不均匀照明和红眼。可以在曝光过程中使用基于光学的图像稳定器以延长曝光时间来减少图像中的噪声，同时减少运动模糊以及增加空间分辨率。然而，基于光学的图像稳定器只能用于减少来自相机运动(全局运动)的运动模糊。可以通过像素合并(binning，即，将相邻像素彼此连接到一起，因此相邻像素上的电荷被加在一起，信号增强)增加像素的有效尺寸来减少曝光时间。然而，伴随像素合并的是空间分辨率的减小。可以用多个低分辨率的视频图像来形成具有改良的图像质量的单个图像，同时保持空间分辨率并提供时间分辨率和曝光时间之间的平衡。通过对每个图像使用更短的曝光时间，在给定时间内读取多个图像可以减少运动模糊，然而，每个图像会变得噪声更大。通过将多个图像彼此对准来修正各个图像捕捉之间的运动，然后将各个图像加到一起(堆叠)，可以减少所形成的单个图像中的噪声。

虽然多个低分辨率视频图像可以相对快速(通常为30-60个图像/秒)的读出，且所述图像通常具有更低的噪声，因为像素通常被像素合并，但是形成的单个图像被限制为相对低的分辨率。相反，多个高分辨率图像可以用于形成高分辨率单个图像。然而，高分辨率图像通常噪声更大，因为像素更小，更显著的，由于硬件限制，需要相对大量的时间来读取多个高分辨率图像(通常1.5-7个图像/秒)。另外，由于图像捕捉之间的显著运动，对准图像的问题变得更大。

因此，本领域需要改良的技术方案来组合多个图像以形成改良的图像，特别是在场景中出现运动的情况中。

发明内容

通过根据本发明各实施例的用于形成图像的系统和方法，上述问题得到解决，且在本领域中实现了一种技术方案。在本发明的一些实施例中，在相同的时间段内获取场景的多个图像，其中所述多个图像的大部分图像为以比所述多个图像的其他图像更低的分辨率获得的低分辨率图像。所述低分辨率图像的至少一些可以为视频图像或预览图像，可以在获取所述多个图像的所述其他图像之前获取所述低分辨率图像。在一些实施例中，所述低分辨率图像具有与所述多个图像的所述其他图像相同或更长的曝光时间。在一些实施例中，所述多个图像的所述其他图像只包括单个高分辨率图像。至少通过修正出现在所述低分辨率图像的至少一些之间的运动来形成图像的修正集。另外，至少通过将所述图像的修正集中的至少一个图像的至少一部分(a)与所述多个图像的所述其他图像的至少一个的至少一部分(b)相合并来形成合成图像。进一步地，所述合成图像存储在处理器可访问存储器系统中。所述合成图像展现了改良的图像质量，包括相对于传统技术的减少的运动模糊、更高的信噪比以及更高的分辨率。