[发明专利]一种边相关的联合彩色去马赛克和放大方法

摘要

一种边相关的联合彩色去马赛克和放大方法，属于单传感器数码相机的图像处理领域。该方法步骤包括绿色平面去马赛克：方向插值，方向判定；估计颜色差图像；求精；绿色平面放大；颜色差图像放大。本发明是数码相机向用户提供可视的图像处理链中重要步骤。本发明根据传感器获取的原始马赛克图像，计算局部梯度和确定局部插值方向，并一致应用于绿色平面的恢复。利用图像颜色平面之间的谱相关性(即颜色差图像)，红色和蓝色平面被去马赛克和放大。本发明的输出可直接作为相机的输出结果，也可在相机中进行其它后续处理。实验结果显示，与传统及现有其它联合去马赛克和放大方法相比，本发明产生的图像保留了最多的细节，产生了最少的彩色缺陷。

主权项

1.一种边相关的联合彩色去马赛克和放大方法，其特征在于，该方法步骤包括：(1)绿色平面去马赛克(1.1)方向插值使用自适应的彩色平面插值算法，分别在水平和垂直方向插值丢失的绿色像素值；这里仅考虑估计在红色像素位置丢失的绿色像素值，在蓝色像素位置丢失的绿色像素值的估计过程是相似的；在中心红色像素位置丢失的绿色像素值在水平和垂直方向的插值分别为：Gi,jH=Gi,j-1+Gi,j+12+2Ri,j-Ri,j-2-Ri,j+24Gi,jV=Gi-1,j+Gi+1,j2+2Ri,j-Ri-2,j-Ri+2,j4---1),]]>其中，和分别为丢失的绿色像素在水平和垂直方向的插值；(1.2)方向判定绿色平面分别在水平和垂直方向插值后，生成两个绿色图像G^H和G^V；在每一个丢失的绿色像素位置，需要选择一个更好的插值或组合两个方向的插值，由于沿着边的方向插值效果更好，所以选择最靠近边的方向的插值；图像的一个性质是颜色差的光滑性，即颜色差缓慢变化，仅当通过边时才会急剧变化，所以，图像通过边比沿着边时颜色差的梯度值更大，这个性质可用于判定合适的插值方向；在每一个红色和蓝色采样位置颜色差值C^H和C^V的计算如式2)：其中，i和j分别表示像素所在的行和列；计算C^H和C^V的梯度如式3)：DH(i,j)=|CH(i,j)-CH(i,j+2)|DV(i,j)=|CV(i,j)-CV(i,j+2)|---3),]]>定义两个分类器δ_H(i,j)和δ_V(i,j)，它们是D_H和D_V在中心为(i,j)的5×5的窗口内的梯度和；两个分类器δ_H(i,j)和δ_V(i,j)能够估计水平和垂直方向颜色差的变化，因而能够用于估计边的方向；对于所有红色和蓝色像素位置，估计丢失的绿色像素值可用下面的准则：if(1+δV(i,j))/(1+δH(i,j))>T1Gi,j=Gi,jHelse if(1+δH(i,j))/(1+δV(i,j))>T1Gi,j=Gi,jVelseGi,j=(w1*Gi,jH+w2*Gi,jV)/(w1+w2)end---4),]]>分类器中分母加1是为了避免被0除；每一个丢失的绿色像素的插值方向记录在一个方向矩阵DM中，称为方向图，包括水平、垂直和均匀区域三种情形，这个方向图将用于后续绿色平面的放大；T₁是一个阈值，由于两个分类器的比值表明水平和垂直方向边的相对强度，T₁值越大，被划分为光滑的区域就越大；上面的准则表明：如果丢失的绿色像素值G_i,j是在水平强边上(或在垂直强边上)，然后否则G_i,j是在光滑的区域(即弱边或纹理区域)，它的值是和的加权平均；(或)对G_i,j的贡献与该像素所在水平(或垂直)边的强度成正比；由于边的强度与梯度成反比，所以权w₁和w₂取为梯度的倒数；权w₁和w₂的计算有两种情形，丢失的绿色像素位置是一个红色像素或蓝色像素；这里仅考虑红色位置丢失的绿色像素，蓝色位置丢失的绿色像素的权值计算是类似的；权w₁和w₂的计算如式5)：w1=1/(1+|Gi,j+1-Gi,j-1|+|2Ri,j-Ri,j-2-Ri,j+2|)w2=1/(1+|Gi+1,j-Gi-1,j|+|2Ri,j-Ri-2,j-Ri+2,j|)---5),]]>(2)估计颜色差图像R-G和B-G丢失的红色和蓝色像素通过颜色差恢复；已经插值的绿色像素值可以认为是已知的，在红(或蓝)色像素位置的颜色差值R-G(或B-G)可直接计算，在绿色像素位置丢失了红和蓝色像素，其颜色差值需要估计；这里仅考虑丢失的B-G差值估计，丢失的R-G差值估计是类似的；丢失B-G差值有三种情形；由于每一个红色像素在对角方向上有四个蓝色像素，所以，在红色像素位置丢失的蓝绿颜色差值首先被估计；KB表示蓝绿颜色差值，即KB_i,j=G_i,j-B_i,j，KB_i,j用式6)估计：KBi,j=wi-1,j-1KBi-1,j-1+wi-1,j+1KBi-1,j+1+wi+1,j-1KBi+1,j-1+wi+1,j+1KBi+1,j+1wi-1,j-1+wi-1,j+1+wi+1,j-1+wi+1,j+1---6),]]>其中，权值w_x,y用式7)计算：wi-1,j-1=11+|KBi+1,j+1-KBi-1,j-1|+c|KBi-1,j-1-KBi-3,j-3|wi-1,j+1=11+|KBi+1,j-1-KBi-1,j+1|+c|KBi-1,j+1-KBi-3,j+3|wi+1,j-1=11+|KBi-1,j+1-KBi+1,j-1|+c|KBi+1,j-1-KBi+3,j-3|wi+1,j+1=11+|KBi-1,j-1-KBi+1,j+1|+c|KBi+1,j+1-KBi+3,j+3|---7),]]>式中，c是一个常量，用于调整加权效果；一旦获得了在红色像素位置的蓝绿颜色差值，与绿色像素相邻的四个蓝绿颜色像素差值均为已知，其中水平方向或垂直方向两个相邻的蓝绿颜色差值是刚刚估算的；这样，在绿色像素位置的蓝绿颜色像素差值也可以用式6)和7)估计，只不过使用水平和垂直方向四个相邻的像素，而不是四个对角方向的相邻像素；(3)求精马赛克的绿色平面和颜色差平面能够被进一步求精；借助于颜色差平面，绿色平面能够被求精，反过来，求精的绿色平面可再求精颜色差平面；求精只进行一次；(3.1)绿色平面求精仅考虑在蓝色像素位置的绿色像素求精，在红色像素位置的绿色像素求精是类似的。假定求精中心蓝色像素位置的绿色像素；G_ij=B_ij+KB_ij，这里KB_ij用8)式计算，其中权值用式9)计算：KBi,j=wi-1,jKBi-1,j+wi,j+1KBi,j+1+wi,j-1KBi,j-1+wi+1,jKBi+1,jwi-1,j+wi,j+1+wi,j-1+wi+1,j---8),]]>wi-1,j=11+|KBi+1,j-KBi-1,j|+c|KBi-1,j-KBi-3,j|wi,j+1=11+|KBi,j-1-KBi,j+1|+c|KBi,j+1-KBi,j+3|wi,j-1=11+|KBi,j+1-KBi,j-1|+c|KBi,j-1-KBi,j-3|wi+1,j=11+|KBi-1,j-KBi+1,j|+c|KBi+1,j-KBi+3,j|---9),]]>(3.2)颜色差平面求精使用求精的绿色平面，进一步求精颜色差平面；由于蓝绿颜色差平面的求精与红绿颜色差平面的求精相似，仅需考虑蓝绿颜色差平面的求精；需要求精的蓝绿颜色差值是在绿色和红色采样位置；初始的蓝绿颜色差值估算后，每一个原CFA绿色和红色像素位置，分别在水平和垂直方向有4个相邻的蓝绿颜色差值；在原CFA绿色和红色像素位置的蓝绿颜色差值求精均采用8)和9)式计算；(4)绿色平面放大绿色平面去马赛克后，生成了一个完整的去马赛克后的绿色平面图像和一个插值方向矩阵DM；然后，已去马赛克的绿色平面图像扩展到2倍放大的网格上；为了存储新估计的插值方向，DM矩阵也扩展到放大的网格上；首先估计四个对角方向上的绿色像素均已知的像素；对于每一个丢失的像素，在一个7×7的邻域内，分别估计45°和135°边的强度，然后，沿着强边的方向进行双三次插值，作为对丢失像素的估计；如果该邻域是均匀的，则在45°和135°方向分别进行双三次插值，这两个正交方向插值的加权平均作为丢失像素的估计；这里运用梯度估计边的方向，邻域中心位置像素(2i,2j)的梯度计算方法如下：其中，G中表示在放大网格上的绿色平面图像灰度；梯度比可用于估计边的强度：其中，T₂是一个阈值，梯度值加1是为了避免分母为0；如果丢失的中心像素(2i,2j)是在对角强边上，则利用对角已知的四个绿色像素，进行双三次插值，双三次插值滤波器为[-1,9,9,-1]/16；如果丢失的中心像素是在均匀的区域上，加权平均估计方法如下：p=(w₁p₁+w₂p₂)/(w₁+w₂)12)，其中，p₁和p₂分别为45°和135°方向的双三次插值，权值计算方法为：w1=11+δ1kw2=11+δ2k---13),]]>其中，参数k调整加权效果；其合理性在于梯度大小与边的强度成反比，因而，方向梯度越大，在该方向上的插值贡献越小；同样，梯度值加1是为了避免分母为0；其余丢失的绿色像素，通过简单的方向双三次插值得到；每一个丢失的绿色像素(x,y)，在水平和垂直方向有四个相邻的已知绿色像素，其中一个绿色像素(i,j)是在CFA图像上进行绿色平面去马赛克过程中估计的，其插值方向已被计算，且记录在方向矩阵DM中；像素(x,y)估计方法如下：这里p₁和p₂分别指水平和垂直方向的双三次插值，权值仍用式13)计算，但是梯度δ₁和δ₂分别是指水平方向和垂直方向梯度，计算方法为：(5)颜色差图像R-G和B-G的放大绿色平面放大后，再放大颜色差图像R-G和B-G，然后放大的颜色差图像加上放大的绿色图像便获得放大的红色和蓝色平面；这样做的主要原因是：在Bayer模式中，红色和蓝色像素的采样频率仅为绿色像素采样频率的一半，红色和蓝色平面的去马赛克误差比绿色平面的去马赛克误差更大，去马赛克误差在执行图像放大过程中会被进一步放大；另外，颜色差平面比原图像光滑得多，更光滑的图像插值误差更小；借助于方向矩阵DM,丢失的彩色差值的估计仅通过方向双三次插值实现；类似于绿色平面的放大,彩色差图像的放大也分为两步，并使用式10)、12)、13)和15)估计。