[发明专利]一种总变分和结构张量的图像融合方法及装置

说明书

本发明提出一种总变分和结构张量的图像融合方法及装置，总变分TV模型利用图像的结构张量获取融合图像的目标梯度场，在目标梯度场内部利用Soft‑Max函数柔化梯度场的权重，将融合梯度场放入到TV模型的正则项内，保障融合图像的梯度场与目标梯度场接近，利用分裂Bregman算法求解全新的TV模型，获取最终的融合图像，通过采用本方案可以更好地表达图像的特征，将微光的纹理信息与红外图像的显著性特征完美结合，取得较好的融合效果，可以较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。

技术领域

本发明涉及图像融合领域，特别涉及一种总变分和结构张量的图像融合方法及装置。

背景技术

图像融合作为信息融合的一门分支，是一门包含信号处理、图像处理、计算机技术、图像探测器技术等多种领域的综合高新技术。图像融合对某一场景获取的多幅图像信息加以提取，最终将两幅或多幅包含多样、冗余信息的图像合成为一幅含有更丰富信息的新图像。融合图像克服了单幅图像在空间分辨率、物理属性、时间分辨率以及光谱信息等方面的局限性，能更好地为重要目标的定位、识别和理解提供支撑。

红外(IR)与可见光(VI)传感器之间的信息融合是目前应用最多，同时也是最具有现实意义的融合方式。通过将可见光的纹理细节信息与红外热辐射目标的显著信息相结合，有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。针对IR与VI图像之间的融合，最为常见的就是加权平均法。该方法只是将源图像之间的亮度进行空间叠加，容易导致融合图像解析度下降，并且丢失很多纹理细节信息。为了能够获得更优良的融合效果，使融合图像符合人眼视觉特性，人们相继提出了新的融合方法。总变分法(TV)是一种新颖的融合方法，其独特之处在于将融合问题转化为图像优化和重建问题。由于其内部参数较少，并且能够完整地保持图像局部特征，因此目前受到了学者们的广泛关注。TV模型在解决融合问题时，往往在正则项内约束融合图像与给定VI图像具有相似的梯度特征，然而包含在IR图像的纹理信息却被忽略，导致融合图像出边缘细节缺失的问题。为此，我们希望可以直接获取融合图像的梯度场，将其放入到正则项内，从而保证源图像内部的纹理梯度信息较为全面的转移到融合图像中。

作为另一个重要的分支，基于梯度域的图像融合方法也得到了的广泛应用。人类视觉对图像局部细节的变化非常敏感，而图像局部细节实际上就是图像梯度。在梯度域内对图像进行处理，可以使融合图像保留输入图像的重要特征。文献《G.Piella,Imagefusion for enhanced visualization:a variational approach[J],Int.J.Comput.Vision 83(1)(2009)1-11.》等人采用结构张量来获取融合图像的目标梯度场，并从目标梯度场中重建融合图像。该方法为本文的研究提供了一定的思路，我们可以将获取的目标梯度场放入到TV模型的正则项内，从而取代原有的VI图像梯度场。通过全新的约束关系，使融合图像的梯度场最大程度接近于目标梯度场，抑制了纹理细节的丢失。除此外，鉴于红外热像图与可见光图像的较大光谱差异性，单一地使用加权法来设计目标梯度场的光谱梯度权重，会导致融合结果出现光晕伪影现象。除此外，针对TV模型的求解问题，学者们一般采用梯度下降法。然而，利用该方法获取的欧拉-拉格朗日方程往往具有非线性和不可微性，并且由于其最小化速度较慢，会影响求解速度。

发明内容

本发明实施例提供了一种总变分和结构张量的图像融合方法及装置，可以弥补两种源图像较大的光谱差异性，同时较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。

第一方面，本发明提供一种总变分和结构张量的图像融合方法，所述方法包括：

获取来自同一场景并进行图像配准的红外图像和可见光图像；

利用红外图像和可见光图像的结构张量获取融合图像的目标梯度场；

利用Soft-Max函数柔化所述目标梯度场的权重；

将融合梯度场放入总变分TV模型的正则项内，以使得融合图像的融合梯度场和目标梯度场接近；