[发明专利]使用二色图像的贝叶斯去镶嵌

说明书

技术领域

本发明涉及数字彩色图像处理，尤其涉及数字彩色图像的去镶嵌。

背景

数码照相机的普及度和质量随着此类照相机的成本不断下降而持续增长。大多数数码照相机使用单个图像传感器来捕捉彩色图像中的每一像素的色彩信息。通常为电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器是共同表示彩色图像的像素的传感器阵列的一部分。

图像传感器只能生成关于给定像素处的单个色彩的信息。然而，彩色图像是通过组合三个单独的单色图像来表示的。为了显示彩色图像，在每一像素处需要所有红、蓝和绿(RGB)色彩值。为了获得其它两个遗漏的色彩，必须使用从图像中的周围像素估算或内插遗漏色彩的技术。这类估算和内插技术被称为“去镶嵌”(demosaicing)。

术语“去镶嵌”是从以下事实中得到的：在图像传感器的前方使用滤色器阵列(CFA)，而CFA是以镶嵌图案来排列的。该镶嵌图案对图像中的每一像素仅有一个色彩值。为了获得全色图像，必须对镶嵌图案“去镶嵌”。由此，去镶嵌是内插回用镶嵌图案CFA捕捉的图像，使得全RGB值可以与每一像素相关联的技术。

更具体地，单传感器数码照相机使用在光路中位于CFA之后的图像传感器阵列来捕捉图像。一种高度流行且常见的镶嵌CFA被称为拜耳(Bayer)镶嵌图案。对于每一2x2的像素组，两个对角相对的像素具有绿色滤光器，而另外两个像素具有红色和蓝色滤光器。由于绿色(G)携带了对于人类的大多数亮度信息，因此其采样速率是红色(R)和蓝色(B)的采样速率的两倍。

当前有许多类型的去镶嵌技术可用，诸如双线性内插、中值滤波、向量CFA、基于梯度和统计建模。然而，这些现有去镶嵌技术的每一种都产生了视觉上的、定量的可测量伪像。这些伪像包括混叠或“撕裂”伪像，其中沿着一条边的每一其它像素在被认为是在该边上或在该边外之间交替；以及彩色条纹，其中黄色、紫色和青色沿着清晰的边或在清晰的边上出现。

概述

提供本概述以便用简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

此处公开的贝叶斯二色图像去镶嵌方法和系统包括处理数字彩色图像以便用减少图像伪像的方式来对该图像去镶嵌。该贝叶斯二色图像去镶嵌方法和系统采用了将跨边的色彩建模为每一侧上的色彩的线性组合的图像模型。这减小了引入彩色条纹的可能性。此外，贝叶斯二色图像去镶嵌方法和系统使用的统计模型并不是基于网格的，因此容易地允许对用于视频处理的多图像去镶嵌和非迭代超分辨率输出采样的扩展。通过将输出图像约束于一线性模型，平滑区域中的可见噪声也被减少，同时保留了清晰的边缘。

该贝叶斯二色图像去镶嵌方法和系统是对现有去镶嵌技术的改进和增强。该方法和系统对图像执行初步去镶嵌遍，以向图像中的每一像素分配一完整定义的RGB三元组色彩值。该初步遍的结果然后通过贝叶斯二色图像去镶嵌方法和系统来改进。总的思想是在中心位于所处理的像素上的小的窗或处理区域(诸如5x5的像素“片”)内，作出在该处理区域中仅有两个色彩的假设。假设仅有两个色彩导致最终结果中的随机色彩的虚拟消除。该像素的色彩然后被限于这两个色彩的线性组合。这减轻了导致色彩伪像的伪色彩。

贝叶斯二色图像去镶嵌方法包括获得图像中的每一像素的完整定义(fully-specified)的RGB三元组色彩值，然后使用该RGB三元组来确定每一像素的最终色彩值。该最终色彩值是两个色彩的组合，并且仅有来自这两个色彩的贡献。这两个色彩是通过将完整定义的RGB三元组群集成两个集群、取每一集群的均值、并将每一集群的均值称为占优势的两个色彩来找到的。

一旦找到了占优势的两个色彩，必须确定每一色彩对最终色彩值给出了多少贡献。这是通过使用从拜耳滤色器获得的处理区域中的样本来计算每一像素的部分混和值来实现的。接着，通过找出给定该组样本时部分混和值的最大概率来找到最大部分混和值。该最终色彩值是从该最大部分混和值和占优势的两个色彩计算的。

贝叶斯二色图像去镶嵌方法和系统还可处理多个图像来改善去镶嵌结果。这多个图像首先彼此对准以使它们对齐。选择一基准图像，并且相对于该基准对象来重构其它图像。该处理类似于单个图像的情况，除了使用了补偿图像的不完美对齐的技术之外。该补偿技术使用一缩放因子以便在平方差的和较大的情况下增加高斯型的方差。该缩放因子基于对齐算法的质量来变化。