[发明专利]图像处理装置、图像处理方法和程序

说明书

相关申请的交叉参考

本申请要求于2013年3月29日提交的日本在先专利申请JP2013-074577的权益，其全部内容以引用的方式并入本文。

技术领域

本技术涉及一种图像处理装置、图像处理方法和程序，尤其涉及一种在进行分辨率变换的图像处理时能够从具有由多个颜色分量构成的彩色滤波器阵列的图像传感器的输出获得各颜色分量的图像信号而不会降低图像质量的图像处理装置、图像处理方法和程序。

背景技术

近年来，对诸如所谓的4k2k或8k4k等图像分辨率的改善的需求日益增加。然而，例如，即使图像传感器的尺寸可以增大，但是由于光学系统的尺寸、重量等，也难以实现分辨率的足够改善。此外，在图像传感器的灵敏度方面也难以提高帧速率。

由此，已经提出了其中在不会降低图像传感器的胞的面积超过预定程度的情况下改善分辨率的技术。例如，已经提出了其中生成输出图像的像素并且通过对低分辨率的输入图像进行图像处理获得高分辨率的输出图像的技术。

此外，目前主要有两种使用图像传感器的成像装置。一种是使用一个图像传感器的单芯式(one-chip)装置(以下称为单芯式相机)。另一种是使用三个图像传感器的三芯式装置(以下称为三芯式相机)。

在三芯式相机中，例如，使用三个图像传感器，即，R信号用的图像传感器、G信号用的图像传感器和B信号用的图像传感器，因此通过三个图像传感器获得三原色信号。然后，从三原色信号产生的彩色图像信号被存储在记录介质中。

在单芯式相机中，使用其中由分配给每个像素的彩色滤波器阵列制成的彩色编码滤波器安装在前面的一个图像传感器，并且针对每个像素获得由彩色编码滤波器彩色编码的颜色分量的信号。作为构成彩色编码滤波器的彩色滤波器阵列，例如，使用红色(R)、绿色(G)和蓝色(B)的原彩色滤波器阵列或黄色(Ye)、青色(Cy)和品红色(Ma)的互补滤波器阵列。然后，在单芯式相机中，通过图像传感器针对一个像素获得一种颜色分量的信号，并且通过进行线性插值处理产生由每个像素保持的颜色分量的信号以外的其他颜色信号，从而获得接近由三芯式相机获得的图像的图像。在摄像机中，为了小型化和轻量化而使用单芯式方式。

作为构成彩色编码滤波器的彩色滤波器阵列，在大部分时间使用拜耳(Bayer)布局的彩色滤波器阵列。在拜耳布局中，G色滤波器被排列为棋盘图案，R和B色滤波器在每行中交替排列在剩余部分上。

在这种情况下，在图像传感器中，从其中配置三原色R、G和B之一颜色的滤波器的各像素中，只有对应于该滤波器颜色的图像信号被输出。即，从其中配置R色滤波器的像素中，R分量的图像信号被输出，但是G分量和B分量的图像信号没有被输出。按相同方式，从G像素中，仅有G分量的图像信号被输出，R分量和B分量的图像信号没有被输出。从B像素中，仅有B分量的图像信号被输出，R分量和G分量的图像信号没有被输出。

然而，在图像处理的下游侧中，在各像素的信号的处理时，R分量、G分量和B分量的图像信号是必要的。因此，在现有的技术中，从来自n×m(n和m是正整数)个像素构成的图像传感器的输出通过各自的插值计算获得n×m个R像素的图像信号、n×m个G像素的图像信号和n×m个B像素的图像信号，并输出到下游侧。

此外，提出了以下的技术，其中从n×m个R像素的图像信号通过插值计算获得2n×2m个R像素的图像信号，从n×m个G像素的图像信号通过插值计算获得2n×2m个G像素的图像信号，从n×m个B像素的图像信号通过插值计算获得2n×2m个B像素的图像信号(例如，参照日本未经审查的专利申请公开No.2000-341705)。

在日本未经审查的专利申请公开No.2000-341705中，对应于关注像素的像素和其邻近的像素值被设定为输入图像中的变量，并且通过使用由预先学习获得的系数的积和计算来预测输出图像的关注像素的像素值。通过这样做，从来自单芯式相机的图像传感器的输出可以生成三原色信号，并且可以生成像素密度是原始图像的4倍的图像信号。

顺便说一下，在日本未经审查的专利申请公开No.2000-341705中，对应于图像传感器中各R、G和B的像素值原样地用作抽头(tap，タップ)，即，预测计算的变量。

然而，由于R、G和B的像素值中的相关性初始很低，例如，即使在关注像素附近的多个像素值被作为抽头输入，也难以在预测计算中产生足够的效果。

此外，在单芯式相机的图像传感器中，为了避免伪色、假像等的影响，入射在图像传感器上的光通常被设置成通过光学低通滤波器。