[发明专利]基于自我监督学习的图像融合方法

说明书

本发明公开了一种基于自我监督学习的图像融合方法，涉及图像融合技术领域。本方法具体步骤如下：1)获取原图像；2)对原图像的预处理操作，将两幅原图像进行分块，编纂成新的矩阵，再按列组成联合矩阵；3)特征提取，将步骤2)中得到的联合矩阵作为输入信号输入到稀疏自编码器中，得到两幅图像简单合并后的边缘特征信息，得到的隐藏层的权值，该权值体现了待融合图像的显著特征，将此看做一个权值矩阵，4)图像的重构,步骤3)得到的权值矩阵作为字典，再通过匹配追踪算法得到原始图像各自的稀疏系数矩阵，在图像重构中，利用最大化选择算法得到联合稀疏系数矩阵，最终的重构图像由字典与联合稀疏系数矩阵相乘得到。

技术领域

本发明涉及图像融合技术领域，具体是一种基于自我监督学习的图像融合方法。

背景技术

近年来，在图像融合方面，一些技术已经日渐成熟，在复杂的场景下拍摄出来的一组图像照片一般是无法完全涵盖解决一个实际问题需要的所有信息的，但是，在不同的条件下对同一个场景拍摄出来的图像就可能会涵盖足够的所需信息。图像融合技术可以利用从不同的角度拍摄或是用多个不一样的传感器获取的一组图像去得到一幅从人类的感官上可以更易于理解的图像。融合形成的图像可以更加清晰地呈现出对某一场景的描述。在视觉效果上，融合的图像更加的完美。简单来说，图像融合就是将很多种具有不同特性的关于图像的数据结合起来，相互之间可以互补以发挥各自最大的优势的目的，也可以更加全面的反映目标的一些固定不变的属性，还可以提供更强的对信息进行分析的能力。

目前现有的大部分的图像融合的算法都包括三个部分：图像的特征提取，图像的特征合并，图像的重构融合。图像融合算法大致分为两种，一种是空间域算法，它是将图像或者是图像的一部分看作是图像自身的特征，再使用某种规则进行合并，重构得到融合图像；另一种是变换域算法，该种算法先要将源图像转换到变换域，对变换域上的系数进行合并，再重构得到融合图像。在以往的浅层模型当中，都是依靠人工规则来构造特征的，而深度训练则是自身根据大数据来学习特征，这样的方法更能够刻画数据的内在信息，对于特征提取而言，手工选取特征是十分费力的，能不能选取好的特征在很大程度上都是靠运气和经验的，而且调节它也需要不少的时间。

发明内容

为了克服上述现有技术的缺点，本发明提供一种基于基于自我监督学习的图像融合方法，最大程度的将图像自身的高级隐藏的特征表达出来，保障了最终融合后的图像的清晰度以及准确性。

本发明是以如下技术方案实现的：一种基于自我监督学习的图像融合方法，

1)获取原图像；

2)对原图像的预处理操作，将两幅原图像进行分块，编纂成新的矩阵，再按列组成联合矩阵；

3)特征提取，将步骤2)中得到的联合矩阵作为输入信号输入到稀疏自编码器中，得到两幅图像简单合并后的边缘特征信息，得到的隐藏层的权值，该权值体现了待融合图像的显著特征，将此看做一个权值矩阵，

4)图像的重构,步骤3)得到的权值矩阵作为字典，再通过匹配追踪算法得到原始图像各自的稀疏系数矩阵，在图像重构中，利用最大化选择算法得到联合稀疏系数矩阵，最终的重构图像由字典与联合稀疏系数矩阵相乘得到。

优选的，步骤1)中的原图像指的是从开源的图像库里面的原始图像。

优选的，步骤2)采用滑动窗技术将两幅原图像进行分块。

优选的，步骤3)具体步骤如下：滑动得到的小块经过编纂成列向量组合形成新的矩阵aa1和bb1，这里将aa1和bb1按列按行依次相加，合并形成一个新的联合矩阵cc1，大小不变，选取同一组数据的训练集和测试集，经过训练得到的是两幅图像简单合并后的边缘特征信息，也就是经过稀疏自编码器的特征提取，得到的隐藏层的权值，该权值体现了待融合图像的显著特征，将此看做一个权值矩阵，把得到的这个含有待融合图像特征的权值矩阵作为一个字典W₂来使用。