[发明专利]一种基于可见光与近红外双波段相机的实时图像融合方法

说明书

技术领域

本发明涉及图像融合处理技术。图像融合是多传感器信息融合的可视信息部分的融合，是将多源信道所采集的关于同一目标图像经过一定的图像处理，提取各自信道的信息，最后综合成统一图像或综合图像特性以供观察或进一步处理。图像融合在军用方面主要是军事目标的定位、识别、跟踪、侦察，隐蔽武器的探测，战场监控，夜间飞行指导等。图像融合技术还广泛的应用在导航、摄影、医学等领域。

背景技术

图像融合系统具有突出的探测优越性，时空覆盖宽、目标分辨率与测量维数高、冗余性、互补性、及相对较低的成本优势，由于图像融合系统所具有的突出的探测优越性，所以在美、英等技术发达国家受到高度重视并已取得相当的进展。

国际上在图像信息融合的不同层次上开展大量的模型与算法研究，提出了各种系统形式。理论上对于图像融合方法的研究是取得了很大的进步，发展很快。

图像融合的方法较多，从最初最为简单的加权平均法，即将原图像对应像素的灰度值进行加权平均，生成新的图像；然后出现了由Blln提出的拉普拉斯金字塔法，比率低通金字塔法，对比度金字塔法，梯度金字塔等融合方法。随着90年代小波变换在图像处理中的广泛应用，小波变换技术也被成功地应用于图像融合；本发明主要涉及到像素级比例图像融合方法。

发明内容

为了克服复杂图像融合算法处理实时性不足问题，本发明提出了一种基于可见光与近红外双波段相机的实时图像融合方法，包含以下步骤：

一、通过局部最小算子求出可见光图像和近红外图像的共有分量，设可见光图像分量为V(i,j)，近红外图像分量为I(i,j)。则两种图像的共有分量C(i,j)可用式(1)表示

C(i,j)＝V(i,j)∩I(i,j)＝min{V(i,j),I(i,j)}(1)

二、将可将光图像分量减去可见光与近红外的共有分量，得到可见光图像独有分量V^*(i,j)，表示如下式

V^*(i,j)＝V(i,j)–C(i,j)(2)

三、将近红外图像分量减去可见光与近红外的共有分量，得到近红外图像独有分量I^*(i,j)，表示如下式

I^*(i,j)＝I(i,j)–C(i,j)(3)

四、将近红外图像独有分量和可见光图像独有分量分别赋给中间图像M(i,j)的R和G分量值，另外将可见光图像独有分量与近红外图像独有分量之差赋给M(i,j)的B分量，表示如下式

五、将中间图像M(i,j)的RGB空间转换成YUV空间，然后将可见光图像V(i,j)的U’、V’分量替换U、V分量获得Y U’V’图像；

六、最后将替换后的中间图像的Y U’V’空间图像转换成RGB空间，获得最终融合图像F(i,j)，如下式：

F(i,j)＝T_RGB{Y U’V’}(5)

其中T_RGB{},表示色彩空间转换符。

本发明的另一目的在于提供一种实现实时图像融合方法的实时图像融合系统，采用FPGA芯片，通过硬件描述语言实现以下模块：局部最小运算模块、灰度相减模块、RGB转YUV模块、和YUV转RGB模块；

所述局部最小运算模块用于通过局部最小算子求出可见光图像和近红外图像的共有分量；

所述灰度相减模块用于将可见光图像减去共有分量得到可见光图像独有分量；将近红外图像减去共有分量得到近红外图像独有分量；将近红外图像独有分量和可见光图像独有分量分别赋给中间图像的R和G分量值，将可见光图像独有分量与近红外图像独有分量之差赋给中间图像的B分量；

所述RGB转YUV模块用于将中间图像的RGB分量转换成YUV分量，然后将可见光图像的U、V分量替换中间图像的U、V分量；

所述YUV转RGB模块用于将替换后的中间图像转换成RGB分量，获得最终融合图像。

本发明方法采用线性运算，硬件实现简单，实时性好，不会降低融合图像的分辨率，可以同时呈现红外目标轮廓和可见光彩色信息，在近红外光照条件下，可以达到彩色夜视融合效果。

附图说明：

图1是基于可见光与近红外双波段相机的实时图像融合处理流程图

图2是基于FPGA的融合算法实现框图

图3(a)是实施例中可见光通道图像；

图3(b)是实施例中近红外通道图像

图3(c)是实施例中可将光与近红外融合图像