[发明专利]图像处理设备、图像处理方法和程序

说明书

技术领域

本发明涉及一种图像处理设备、图像处理方法和程序。特别地，本发明涉及对单板式成像元件的输出执行信号处理的图像处理设备、图像处理方法和程序。

背景技术

在使用单板式固态成像元件作为成像设备的成像元件（图像传感器）的成像处理中，通过配置如下的滤色器来执行彩色成像：使与该成像元件上的各像素相对应的特定颜色（诸如R、G和B）的波长分量透过该滤色器。利用该方法，由于针对每个像素仅可以获得一种颜色（例如，R、G和B中的任一种），因此生成与这些颜色相对应的马赛克状的图像。

图1（1）示出成像设备所使用的滤色器的示例。针对每个像素单位，被称为拜耳（Bayer）阵列的该阵列可使特定波长分量光（R、G、B）透过。在拜耳阵列中，最小单位是用具有可使绿色（G）透过的两个滤波器、可使蓝色（B）透过的一个滤波器和可使红色（R）透过的一个滤波器的四个像素来构造的。

通过这样的滤波器所获得的图像根据R、G、B等的滤波图案（pattern）而变为针对每个像素仅具有颜色信息的图像。将该图像称为马赛克图像（mosaic image）。为了根据该马赛克图像生成彩色图像，需要针对所有像素生成R、G和B的所有颜色信息。

通过使用从周围像素获得的颜色信息在每个像素处执行插值，可以通过计算与所有像素相对应的所有颜色信息（例如，所有的R、G和B）来生成彩色图像。将该插值处理称为去马赛克处理。也就是说，将用以通过基于图1（1）的成像信号生成所有像素单位各自的颜色信息（R、G和B）来获得图1（2）所示的图像信号的处理称为插值处理、去马赛克处理和上采样处理等。

作为颜色插值处理（去马赛克处理），例如，已提出了包括专利文献1（USP4642678）的各种方法。

其中，已知专利文献2（USP5652621）和专利文献3（日本专利申请早期公开第7-236147号）中所公开的如下方法：使用相关性高的方向上的信号来对未知颜色进行插值，该方法能够甚至对信号高频分量进行精确插值。

已基于在信号的S/N比优良的情况下叠加至这些信号的噪声可忽略这一隐含假设执行了这些传统处理。

然而，随着近来成像元件的精细化的进行，由于拍摄到的图像的S/N不断恶化，因而相关性检测越来越难。

针对S/N差的图像使用相关性的传统方法造成如下问题（通常称为迷宫伪影（maze artifact））：通过在图像的平坦部处将噪声误识别为信号来执行相关性检测而生成包括正常不应存在的高频分量的插值像素值。

作为对比，当无需在图像的平坦部处执行相关性处理而执行各向同性的线性插值处理时，不会造成上述问题。然而，通过在成像像素和插值像素之间进行比较，后者不包括噪声高频分量。因此，插值结果变得在视觉上不自然。这样，利用传统的去马赛克处理，难以获得在平坦部处被插值成视觉上更好状态的插值图像。

关于用以改进图像的平坦部处的图像质量的处理，在不同于去马赛克处理的图像处理领域中已提出了各种方法。

通常已知有如下问题：图像放大由于在图像的平坦部处高频分量不足而产生散焦图像。例如，专利文献4（日本专利申请早期公开第2008-263465号）提出了一种用以通过利用图像分形性质向放大后图像的平坦部添加高频分量来生成自然的放大后图像的方法。

此外，专利文献5（日本专利申请早期公开第2007-28348号）提出了一种用以通过在噪声降低之后重新添加高频噪声来将因噪声降低而丢失的图像粒度（高频分量）恢复为自然图像的方法。

此外，专利文献6（日本专利申请早期公开第2004-304658号）提出了一种通过向图像的平坦部添加包括高频率的噪声来降低该平坦部处的噪声由此难以识别的方法。

如上所述，已经不同地设计了用以通过向图像的平坦部添加一些信号来提高图像可视性的方法。然而，这些方法无法直接应用于拍摄到的彩色马赛克图像。

在去马赛克处理中，由于所拍摄像素值是真值，所以无需改变。因此，需要仅估计插值像素位置处的像素值。

因此，在向平坦部添加噪声的情况下，为了自然的外观，需要仅向插值像素位置添加噪声，并且考虑到传感器特性来将要添加的噪声设置为如下噪声，其中该噪声使包括在成像像素和插值像素中的噪声量随机相等。

如上所述，为了在去马赛克处理中在平坦部处自然地执行插值，需要考虑传统方法中没有考虑的条件。

引用列表

专利文献

专利文献1：美国专利第4642678号

专利文献2：美国专利第5652621号