[发明专利]使用全色像素的像素纵横比校正

说明书

技术领域

本发明涉及从具有不同像素纵横比的全色图像和彩色图像中形成具有期望的像素纵横比的彩色图像。

背景技术

摄像机和数字静态照相机通常采用具有滤色器阵列的单个图像传感器来记录场景。这种方法始于稀疏分布的单信道图像，其中彩色信息由滤色器阵列图形编码。随后对邻近像素值的内插允许重构完整的三通道全色图像。通常理解的假设是这个全色图像由在正方形像素网格上采样的像素值组成，即图像像素是正方形。这对于大量的图像显示器是重要的并且打印装置使用正方形像素进行随后的图像再现。然而，在全色图像中需要正方形像素并不要求单个图像传感器使用正方形像素。使用矩形(非正方形)像素的传感器在本领域中是众所周知的。从矩形像素捕获中产生正方形像素图像的一般实践是用矩形像素产生全色图像并且然后作为最后步骤将全色图像转换成具有正方形像素的图像。这种方法由美国专利No.5,778,106(Juenger等人)所例证。参见图2，配有矩形像素的单个传感器的数码相机200产生RGB CFA图像202。CFA内插方框204从RGB CFA图像202产生全色图像206。像素纵横比校正方框208从全色图像206中产生像素纵横比校正的全色图像210。在这个示例中，能够看出在图像处理链中需要额外的操作(方框208)以便从具有非正方形像素的初始图像(方框202)中产生具有正方形像素的图像(方框210)。更好的解决方案将是将像素纵横比校正方框208直接并入CFA内插方框204中。在美国专利No.7,092,020(Yoshikawa)中教导了这种方法的相关示例。参见图3，数码相机212(配有正方形像素的单个传感器)产生RGB CFA图像214。通过直接计算数字缩放(放大)的全色图像而不用将该操作分成两个单独步骤(内插然后调整大小)或产生对应的中间图像，CFA内插和调整大小方框216从RGB CFA图像214中产生调整大小后的全色图像218。

在低光成像情形下，有利的是让滤色器阵列中的一个或多个像素未经过滤，即光谱敏感度中的白色或全色。这些全色像素具有捕获系统的最高光敏感度能力。采用全色像素代表捕获系统中光敏感度和彩色空间分辨率之间的折衷。为此，已经描述了许多四色滤色器阵列系统。美国专利No.6,529,239(Dyck等人)教导了绿-青-黄-白图形，其被布置成镶嵌在传感器表面上的2×2块。美国专利No.6,757,012(Hubina等人)公开了红-绿-蓝-白图形和黄-青-品红-白图形两者。在这两种情况下，彩色被布置成镶嵌在成像器表面上的2×2块。使用这样的系统的困难在于滤色器阵列中的像素的仅四分之一具有最高光敏感度，因而限制捕获装置的整体低光性能。

为了解决在滤色器阵列中具有更多具有最高光敏感度的像素的需要，美国专利申请公开No.2003/0210332(Frame)描述了其中大多数像素未经过滤的像素阵列。相对少的像素专用于从场景捕获彩色信息，从而产生具有低彩色空间分辨率能力的系统。另外，Frame教导了使用对图像中的高频彩色空间细节不做响应或保护的简单线性内插技术。

发明内容

本发明的目标是从具有有不同像素纵横比的全色和彩色像素的数字图像中产生具有期望的像素纵横比的数字彩色图像。

这个目标是通过一种形成具有第一像素纵横比的增强的数字全色图像的方法而完成的，所述方法包括：

(a)使用图像传感器来捕获图像，所述图像传感器具有全色像素和对应于至少两种彩色光响应的彩色像素，其中彩色和全色像素每个均具有与所述第一像素纵横比不同的第二像素纵横比；

(b)从所捕获的图像中提供数字高分辨率全色图像并且将全色像素值的纵横比从第二像素纵横比改变到第一像素纵横比以产生数字纵横校正的高分辨率全色图像；

(c)从捕获的图像中提供数字低分辨率色差滤色器阵列图像；

(d)从所述低分辨率色差滤色器阵列图像中提供数字纵横校正的高分辨率色差图像；以及

(e)使用纵横校正的高分辨率全色图像和纵横校正的高分辨率色差图像来产生增强的数字全色图像。

本发明的一个特征是能够用具有有第一像素纵横比的全色和彩色像素的传感器在低光条件下捕获图像并且处理产生从全色和彩色像素中产生的数字彩色图像中期望的像素纵横比。

本发明利用具有适当组成的全色和彩色像素的滤色器阵列以便允许上述方法提供改进的低光敏感度和改进的彩色空间分辨率保真度。上述方法保留并增强了全色和彩色空间细节并且产生全色全分辨率图像。

附图说明

图1是用于实施本发明的包括数码相机的计算机系统的透视图；

图2是现有技术像素纵横比校正图像处理链的方框图；