[发明专利]基于拉普拉斯金字塔的人脸图像融合方法

摘要

本发明涉及一种基于拉普拉斯金字塔的人脸图像融合方法，本发明在基于拉普拉斯金字塔分解的基础上，将改进的局部二值模式算子应用于融合规则，对于拉普拉斯金字塔各层的红外和可见光人脸图像，利用图像的平均梯度、图像直方图的标准差和Chi平方统计相似性测度来决定红外和可见光图像各自加权系数的选择，并利用确定的加权系数进行有效融合，从而得到细节信息丰富、清晰稳定、便于人眼观察的融合图像。与可见光图像和近红外图像相比较，本发明提供的融合图像的信息熵更大，平均交叉熵和均方根交叉熵更小，融合图像的效果更明显。

主权项

1、基于拉普拉斯金字塔的人脸图像融合方法，该方法包括如下步骤：步骤一：分别用近红外摄像头和可见光摄像头采集近红外人脸图像和可见光人脸图像；图像采集由一台近红外摄像头、一台可见光摄像头、一块图像采集卡和一台计算机来完成；首先，调试确定近红外摄像头和可见光摄像头之间的距离；然后，调整目标人物与摄像头之间的距离，获取两张像素上比较相近的图像；最后，通过最大相关性原则对两幅图像进行精确配准，并将其归一化为60乘60的大小；步骤二：拉普拉斯金字塔分解；将步骤一得到的近红外人脸图像和可见光人脸图像分别进行拉普拉斯金字塔分解，具体过程如下：首先，构建高斯金字塔，以采集的图像为金字塔的第0层，第l层的图像通过对第l-1层图像进行隔行降采样获得，Gl=ΣmΣnω(m,n)Gl-1(2i+m,2j+n)]]>0<l≤N，0≤i<C_l，0≤j<R_l其中，N为金字塔的总层数，C_l和R_l分别代表第l层金字塔的列数和行数，ω(m，n)称为权函数或者生成核，具体采用数值如下：ω(m,n)=12561464141624164624362464162416414641]]>上述过程为REDUCE算子，记做G_l＝REDUCE[G_l-1]；上述金字塔为高斯金字塔；然后，由该高斯金字塔构建拉普拉斯金字塔；构建的关键步骤是对高斯金字塔的各层图像进行内插放大，该过程称为EXPAND算子，记做Gl-1*=EXPAND[Gl]]]>，具体计算步骤如下：Gl-1*(i,j)=4ΣmΣnω(m,n)Gl(2i+m2,2j+n2)]]>最后，拉普拉斯金字塔的第l层图像由L_l＝G_l-EXPAND[G_l+1]获得；其中Ll为拉普拉斯金字塔的第l层图像，G_l和G_l+1分别为高斯金字塔第l和l+1层图像；步骤三：融合近红外人脸图像和可见光人脸图像；基于局部二值模式，即基于简称为LBP算子的融合规则，将从步骤二中得到的近红外拉普拉斯金字塔人脸图像和可见光拉普拉斯金字塔人脸图像进行融合；融合方法设计如下：首先，将要融合的同一层拉普拉斯金字塔图像的对应像素点扩展到5×5的区域；然后，用旋转不变性的一致性模式LBP算子对这个区域提取LBP特征；其中，上标riu2代表旋转不变的一致性模式，下标8，1代表着以某像素为中心，在半径为1的范围内比较周围8个像素与该中心像素间的关系；算子总共有256个模式，在这256个模式中一共有9类旋转不变的一致性模式；除了采用该9类旋转不变的一致性模式外，将其余的247个模式都归到第10类，得到一个1×10维的统计直方图向量，统计直方图向量的元素值代表各个类的总数；在LBP值的基础上引入平均梯度的概念AG=18Σp=07|gp-gc|]]>；其中，g_c为中心像素的灰度值，g_p为周围像素点的灰度值，将原有的1×10维统计直方图向量扩展到了1×11维统计直方图向量，并设定了一个Salience值S=AGSD]]>来代表特征，其中AG为平均梯度，SD为图像直方图的标准差；两个向量间的匹配度，采用Chi平方统计相似性测度来测量，其定义如下：M=Σiw(H1,i-H2,i)2H1,i+H2,i;]]>其中，i＝0，1，....10，M代表了近红外图像统计直方图向量H_1，i和可见光图像统计直方图向量H_2，i的匹配程度，权值w在此处取值为1；融合后的图像像素点的灰度值由红外和可见光图像对应像素点的灰度值加权得到F(i，j)＝ω₁IM₁(i，j)+ω₂IM₂(i，j)；其中，F(i，j)为融合图像(i，j)点的灰度值，IM₁(i，j)和IM₂(i，j)分别为近红外和可见光相应像素点的灰度值，ω₁和ω₂为各自的权值；当M≥0.75时，存在较小的权值ωmin=(M-a)2(1-a)]]>和较大的权值ω_max＝1-ω_min，其中a＝0.75；其他情况ω_min＝0 and ω_max＝1；接着，比较两个像素点的S=AGSD]]>值；假设S1为近红外图像的Salience值，S2为可见光图像的Salience值，如果S1≥S2，则ω₁＝ω_maxand ω₂＝ω_min；反之，则ω₂＝ω_max and ω₁＝ω_min；最后，在遍历所有像素点之后，得到融合后的图像；步骤四：逆拉普拉斯金字塔分解；将从步骤三中得到的融合结果进行逆拉普拉斯金字塔分解，得到融合人脸图像；步骤五：融合人脸图像输出；将从步骤四中得到的融合人脸图像输出。