[发明专利]图像处理装置及图像处理方法、摄像装置

说明书

本申请是申请号为201010253720.0、申请日为2006年6月20日、发明名称为“图像处理装置及图像处理方法、摄像装置”的发明专利申请的分案申请。

技术领域

本发明涉及一种图像处理装置和图像处理方法、使用这些图像处理装置或图像处理方法的摄像装置、以及计算机程序。其中，图像处理装置和图像处理方法用于处理具有规定的颜色编码的滤波器(滤色器)的固体摄像装置的输出信号。

背景技术

照相机作为记录视觉信息的装置具有长久历史。最近，取代使用胶片和感光板进行摄像的银盐照相机，将利用CCD(Charge Coupled Device)和CMOS(Complementary Metal-Oxide Semiconductor)等固体摄像元件捕获的图像数字化的数码照相机广泛普及。

利用固体摄像元件的图像传感器包括以下结构：排列成二维的各像素(光电二极管)利用光电效果将光转换为电荷。通常在受光面上设置包括R(红)、绿(G)、蓝(B)三种颜色的滤色器，将入射光的颜色分解为人眼可见的三原色。并且，对于各像素读取与经过滤色器的入射光量对应地累积的信号电荷，从而可得到人眼可见的RGB图像信号。

而且，将RGB图像信号进行颜色空间转换，成为YUV图像信号，用于显示输出和图像记录。YUV用亮度信号Y和包括红色色差U以及蓝色色差U的两个色度来表现颜色，通过YUV转换，利用人们对于亮度的分辨率高、而对于颜色的分辨率低的视觉灵敏度特性，容易进行数据压缩。例如，在NT SC(National Television Standards committee)标准中，利用以下三个式子进行由RGB到YUV的颜色空间转换。

Y＝0.6G+0.3R+0.1B......(1)

Cr(R-Y)＝R-(0.3R+0.6G+0.1B)......(2)

Cb(B-Y)＝B-(0.3R+0.6G+0.1B)......(3)

例如，已知有一种三片式摄像装置，即、对于三个固体摄像装置，将R(红)、G(绿)、B(蓝)原色滤色器配置在相同空间相位上，从而得到高分辨率的RGB信号，实现提高画质。但是，三片式摄像装置需要使用棱镜，所以，很难实现装置的小型化和低成本，其中，该棱镜使用三个固体摄像装置，将入射光分解为RGB的每个颜色。

另一方面，还有一种单片式摄像装置，其通过在一个固体摄像装置上以像素为单位适当排列RGB的滤色器，从而实现小型化、低成本化。在该单片式摄像装置上，进行以像素为单位间歇地排列R、G、B的各滤色器的颜色编码。作为颜色编码的代表，可列举一直以来广泛使用的拜尔(Bayer)排列(参照图24)。

进行颜色编码时，在配置R滤色器的像素上，缺少G和B成分的信息；在配置G滤色器的像素上，缺少R和B成分的信息；在配置B滤色器的像素上，缺少G和R成分的信息。在后面的信号处理中进行颜色空间变换时，在各像素中需要全部的RGB信号。其原因是，如果使用上式(1)～(2)由空间上相位不同的RGB信号生成亮度信号Y和色差信号Cr、Cb时，将成为形成颜色伪信号的原因。为此，需要根据滤色器排列内插(interpolation)复原在各像素中失去的颜色信号、并形成相同空间相位的RGB信号之后(参照图25)，进行颜色空间变换。这种内插技术称为“除去马赛克”。

RGB信号的内插精度依赖于颜色编码，所以固体摄像装置的特性根据颜色编码而不同。图24所示的Bayer排列，在第奇数行上交错排列R滤色器和G滤色器，在第偶数行上交错排列G滤色器和B滤色器。在Bayer排列上，采用相对于RB各滤色器较多地排列G滤色器的构成，所以与RB相比可以用更高的精度插入G。

由上式(1)可知，G在形成亮度信号之后为主要成分，亮度信号的分辨率很大程度上依赖于G的分辨率。图像信号的分辨率与像素的抽样率1/fs成比例(fs为像素的抽样频率)，但是，根据Bayer排列，通过提高G滤色器排列内插的精度，从而可得到G的分辨率比RB的分辨率高的特性。因为人们具有对亮度的分辨率高、对颜色的分辨率低的视觉灵敏度特性，所以，Bayer排列可以说是很好地利用人的视觉灵敏度特性的颜色编码。

而且，重要的是，如何才能利用内插技术由空间上相位不同的RGB信号最适当地形成相同空间相位的RGB信号。当不是最佳的图像信号的内插处理时，就会成为不能得到高分辨率的图像、或者生成伪颜色信号的原因。