[发明专利]图像处理设备、图像处理方法及程序

说明书

技术领域

本发明涉及一种图像处理设备、图像处理方法及程序，具体涉及一种可以减少Zipper噪声的图像处理设备、图像处理方法及程序。

背景技术

使用图像传感器的成像设备主要包括：使用单个图像传感器的单板式设备(以下称为单板式相机)和使用三个图像传感器的三板式相机(以下称为三板式相机)。

在三板式相机中，例如提供了用于获取R信号、G信号、B信号的三个图像传感器，利用该三个图像传感器获得三个原色信号。此外，从这三个原色信号生成的颜色图像信号记录在记录介质上。

在单板式相机中，采用了单个图像传感器，其中，由分配给各个像素的滤色器的阵列形成的颜色编码滤色器设置在前面，并为各个像素获得由该颜色编码滤色器进行颜色编码的颜色分量信号。作为形成该颜色编码滤色器的滤色器阵列，采用红色(R)、绿色(G)和蓝色(B)的原色滤色器阵列，或者采用黄色(Ye)、青色(Cy)和品红色(Mg)的互补滤色器阵列。此外，在单板式相机中，利用图像传感器为各个像素获得单个颜色分量信号，通过线性插值处理生成各个像素的除颜色分量信号之外的颜色信号，从而得到接近由三板式相机所获得的图像的图像。在摄像机等中，采用单板式是为了小型化并减轻重量。

具有拜耳阵列的滤色器阵列常用作形成颜色编码滤色器的滤色器阵列。在拜耳阵列中，G滤色器设置为网格图案（checkered pattern），R滤色器和B滤色器在余下的部分中对于每一列交替地设置。

在这种情况下，图像传感器从设有R、G和B三种原色的其中一个滤色器的各个像素中仅输出与滤色器的颜色相对应的图像信号。换言之，从设有R滤色器的像素中输出R分量图像信号，但不输出G分量图像信号和B分量图像信号。同样，从G像素中仅输出G分量图像信号，但不输出R分量图像信号和B分量图像信号。从B像素中仅输出B分量图像信号，但不输出R分量图像信号和B分量图像信号。

然而，当在图像处理的后续阶段中处理各个像素的信号时，R分量图像信号、G分量图像信号和B分量图像信号对于每个像素是必须的。因此，在相关技术中，分别通过插值运算从由n×m个像素形成的图像传感器的输出中获得R像素的n×m个图像信号、G像素的n×m个（n和m均为正整数）图像信号和B像素的n×m个图像信号，并将这些图像信号输出到后续阶段。

DLMMSE方法在相关技术中是众所周知的（参见L.Zhang和X.Wu，2005年发表在IEEE Trans.On Image Processing，Vol.14，No.12,第2167～2178页的“Color demosaicking via directional linear minimum mean square-error estimation”中提及的DLMMSE算法）。

在DLMMSE方法中，首先，针对来自图像传感器的输入图像，对G分量像素信号进行插值，在对G分量进行插值之后利用色差（B-G和R-G)对B分量像素信号和R分量像素信号进行插值。另外，当对G分量进行插值时，生成插值，该插值在输入图像的垂直方向和水平方向上均产生最小平方误差。进而，检测到垂直方向和水平方向上的方向性，并基于检测结果对垂直方向上的插值和水平方向上的插值按比例进行分配。

然而，在采用DLMMSE方法的情况下，在局部仅出现R分量的图案中会发生平均色差小于原有色差的现象。

具体地说，如图1所示，通过采用DLMMSE方法，在来自图像传感器的输入图像（图2）中，基于采用三点（包括与设为中心像素的R像素相邻的左右G像素）计算得出的色差与采用五点（包括相邻的左右G像素和R像素）计算得出的色差之间的比较，采用五点计算得出的色差水平低于采用三点计算得出的色差水平。换言之，在仅出现R分量的图案中，如果作为中心像素的R像素的水平低于相邻的左右R像素的平均水平，那么中央R像素的色差（R-G）水平降低了。结果是，由于R分量是以固定的方式计算得出的，所以中央R像素的G分量水平增加了。

如上所述，仅一个点的G分量水平增加了，因此单独生成了白点或黑点。这种噪声称之为Zipper噪声。换言之，如DLMMSE方法中，在通过对某个方向上的色差进行平均来增加分辨率的感觉的方法中，存在局部出现色差变化的位置会发生Zipper噪声这种可能性。此外，图3图示了通过三点计算得到的图形。图4图示了通过五点计算得到的图形，Zipper噪声发生在通过五点计算得到的图像中。

发明内容

本发明期望即使在来自图像传感器的输入图像中存在局部色差变化的位置处能够减少Zipper噪声的发生。