[发明专利]基于反卷积神经网络的图像融合方法

说明书

本发明提出了一种基于反卷积神经网络的图像融合方法，用于解决现有变换域图像融合方法中存在的融合图像信息熵较低的技术问题。实现步骤为：设置反卷积神经网络；获取训练样本集；用训练样本集对反卷积神经网络进行训练；用训练好的反卷积神经网络推断待融合图像的特征图；对待融合图像的特征图进行融合；用融合后的特征图和训练好的反卷积神经网络中的滤波器进行卷积求和，获得融合图像。本发明可以灵活设置待融合图像的特征图的个数，提取到更有利于全面反映待融合图像信息的特征图，进而得到信息更丰富的融合图像，提高融合图像的信息熵，可应用于多聚焦和医学领域中图像的分析处理。

技术领域

本发明属于图像处理技术领域，涉及一种图像融合方法，具体涉及一种基于反卷积神经网络的图像融合方法，可用于多聚焦、医学领域中图像的分析与处理。

背景技术

反卷积神经网络是深度学习中的一种网络模型，它通过无监督的训练，能够用训练好的网络来推断输入图像的多个特征图，并且利用这些推断出的特征图和反卷积神经网络的滤波器可以实现对原图像的复原重构。

图像融合是将来自多个传感器的包含不同信息的多幅图像按一定的融合规则进行综合，以得到一幅同时包含融合前多幅源图像的优点、内容更为丰富的融合图像的过程。图像融合技术可以综合多幅源图像的互补信息和冗余信息，克服单一传感器的缺点，降低对单一传感器的性能要求，降低了对原始图像质量和信息量的要求，增加了图像的信息量，在很大程度上提高了图像质量，目前在测绘、医学、工业产品检测等领域的应用十分广泛。

目前实际应用中，对图像进行融合时使用的最多的方法是像素级图像融合方法。像素级图像融合方法分为空间域和变换域的两种融合方法，但空间域的融合方法只是在空间域对图像的像素进行简单运算，效果不及变换域的融合方法，变换域图像融合方法主要有基于多尺度变换的融合方法和基于稀疏表示的融合方法。

基于多尺度变换的融合方法是将待融合图像和多尺度函数进行卷积，通过不断改变多尺度函数的参数，将待融合图像在不同尺度层次进行分解，得到不同层次的子图像，然后根据不同子图像的特征，采用相应的融合规则将子图像进行融合，最后再将这些融合后的子图像通过多尺度反变换，得到最终的融合图像。由于多尺度变换方法得到子图像的信息和原始图像相比逐渐减少，细节信息逐渐被平滑掉，使得融合得到的图像不能完全反映原始图像的全部内容，因此融合后的图像包含的信息较少，融合结果信息熵较低。

基于稀疏表示的融合方法是通过一个给定的过完备字典得到原图像变换后的稀疏系数，然后将这些稀疏系数融合得到融合系数，再用融合系数与过完字典进行重构，得到最后的融合图像。这种方法是建立在图像空间足够大的条件下，同时要求选择一个过完备字典，使得任意一幅同类的图像都可以通过此类的图像子空间进行线性表示，并且要求图像要大致中心一致对齐。在实际应用中，通常难以选择一个合适的过完备字典，使得融合得到的图像缺失了部分有效的信息，融合结果的信息熵较低。

发明内容

本发明的目的是针对上述现有技术的不足，提出了一种基于反卷积神经网络的图像融合方法，用于解决现有变换域图像融合方法中存在的融合图像信息熵较低的技术问题。

本发明的技术思路是，首先用训练样本集对反卷积神经网络进行训练，得到包含一组滤波器的训练好的反卷积神经网络，然后用训练好的反卷积神经网络对两幅待融合图像进行推断，得到两幅待融合图像各自对应的特征图，接着将待融合图像的特征图进行融合，得到融合后的特征图，最后用融合后的特征图和反卷积神经网络中的滤波器进行卷积，将卷积结果求和，得到融合图像。具体包括有如下步骤：

(1)设置反卷积神经网络：

设置反卷积神经网络中的特征图个数和滤波器个数均为K，并将K个滤波器标记为{f₁,f₂,...,f_K}，K≥1；

(2)获取训练样本集：

选择与待融合图像类型和大小相同的M幅图像作为训练样本集，M≥2；