[发明专利]一种红外图像与可见光图像融合的方法及系统

说明书

本申请提供一种红外图像与可见光图像融合的方法及系统，将可见光亮度图像分解为可见光基底层图像和可见光细节层图像，将红外亮度图像分解为红外基底层图像和红外细节层图像，对基底层图像和细节层图像分别进行融合，以使融合基底层图像和融合细节层图像融合后的综合亮度图像能够兼顾红外亮度图像在极暗场景下噪声小和可见光亮度图像符合人眼对外界的观感的特点。

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种红外图像与可见光图像融合的方法及系统。

背景技术

图像传感器上有一个重要元件：彩色滤光片(color filter)，此元件对传感器的成像有巨大的影响。例如，一般相机的图像传感器会使用红外截止滤光片(IR cutfilter)，这种滤光片会将可见光以外的红外光屏蔽，而使可见光(R，G，B)能够照射到图像传感器的感光部分。用此种红外截止滤光片的相机，成像得到的图片为RGB图像，其与人眼对外界的响应非常类似。

然而，使用红外截止滤光片的一大问题也在于此。在较暗或者极暗的场景下，与人眼对外界的响应相似，图像传感器也无法捕捉到足够的光线。因此，其成像图片通常噪声过大。

相反，如果不使用红外截止滤光片，则图像传感器的响应受到红外光的影响。由于红外光的响应一般取决于被摄物体的表面材质的反射率，和人眼所能看到的光线亮暗没有关系，因此，即使是暗光条件下，也能捕捉到足够多的光线，使成像的图片清晰可见。但是其成像结果中景物的亮暗与人眼对外界的观察不符，且图像没有颜色。

现有技术为了改善暗光条件下拍摄的质量，会将可见光图像(YUV格式，Y表征亮度，UV表征颜色)与红外光图像(只有Y分量，没有UV分量)进行融合。融合结果图像的Y分量为红外光图像的Y分量，UV分量为可见光图像的UV分量。但是，由于红外光图像的Y分量与人眼对外界的观感不符，导致最后融合后的图像虽然信噪比较好，但是主观上却有明显的不自然感。

发明内容

本申请实施例的目的在于提供一种红外图像与可见光图像融合的方法及系统，用以现有技术的融合结果图像的Y分量为红外光图像的Y分量，UV分量为可见光图像的UV分量，由于红外光图像的Y分量与人眼对外界的观感不符，导致主观上明显的不自然感的问题。

本申请实施例提供的一种红外图像与可见光图像融合的方法，包括：

获取可见光图像，并将可见光图像分解为可见光亮度图像和可见光颜色图像；对可见光亮度图像进行分解，得到可见光基底层图像和可见光细节层图像；

获取红外图像，并根据红外图像生成红外亮度图像；对红外亮度图像进行分解，得到红外基底层图像和红外细节层图像；

将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像；将可见光细节层图像和红外细节层图像进行融合，得到融合细节层图像；

将融合基底层图像和融合细节层图像进行融合，得到综合亮度图像；

将综合亮度图像和颜色图像作为红外图像与可见光图像的融合结果。

上述技术方案中，将可见光亮度图像分解为可见光基底层图像和可见光细节层图像，将红外亮度图像分解为红外基底层图像和红外细节层图像，对基底层图像和细节层图像分别进行融合，以使融合基底层图像和融合细节层图像融合后的综合亮度图像能够兼顾红外亮度图像在极暗场景下噪声小和可见光亮度图像符合人眼对外界的观感的特点。

在一些可选的实施方式中，将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像，包括：

对每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度值的差值绝对值，计算融合基底层图像中该像素点的亮度值。