[发明专利]多模态图像的自适应特征融合方法

说明书

本发明提供了一种多模态图像的自适应特征融合方法，主要解决针对深度网络提取的高层特征的融合存在的冗余性问题。本发明的具体步骤如下：首先，构建编码器，分别获得多种模态的特征；其次，利用典型性相关的特征筛选策略对多种模态的特征进行筛选，获得多种模态的新特征；再次，构建解码器，所获的新特征作为输入，分别获得新的模态图像；然后，构建一个分类器，利用标签一致损失，更新自适应特征融合模型；最后，所获的多种模态的新特征，进行级联操作，获得融合特征。本发明能够自适应的学习不同模态的高层特征，具有更好的判别性。

技术领域

本发明涉及一种图像处理领域，更具体地，涉及到多模态图像的特征融合方面。

背景技术

在图像处理领域中，不同模态的图像有各自的优缺点，可以从不同方面提供互补的信息，对多模态的图像进行融合，是提高分类、分割性能的一种重要手段。多模态图像融合常应用于钼靶图像与B超图像融合处理，红外线与可见光图像融合处理中。图像融合方法主要有三种，分别为像素级，特征级，决策级。像素级融合是目前比较成熟的融合方法，但像素级融合依赖于配准。配准需要尽可能多的找到对应的标注点，提供标注点不仅耗时耗力，而且会因为不同模态的方向成像形态不同，标注的错误率也很高。特征级融合介于像素级融合和决策级融合之间，在保留足够数量多有效信息的基础上，对信息进行一定的压缩，减少信息处理的繁杂度和信息的冗余性。无论是信息饱和度还是处理效率的角度来考虑，特征级融合是图像融合中合理有效的融合机制。

利用深度神经网络强大的特征学习能力提取高层特征，结合自适应方法对不同模态特征进行筛选，获取对类别空间更有效且互补的特征，可以避免像素级融合带来的配准难和噪声引入问题。

发明内容

有鉴于此，本发明的目的在于提供一种多模态图像的自适应特征融合方法，能够自适应的学习不同模态的高层特征，具有更好的判别性。

为实现上述目的，本发明采用如下技术方案：

一种多模态图像的自适应特征融合方法，包括以下步骤：

步骤S1:构建编码器，并输入多种模态图像，分别获得多种模态的特征；

步骤S2:利用典型性相关分析的特征筛选策略对多种模态的特征进行筛选，获得多种模态的新特征；

步骤S3:构建解码器，将多种模态的新特征作为输入，分别获得多种模态新的模态图像；

步骤S4.:构建分类器，并根据原模态图像和芯的模态图像，利用标签一致损失，更新自适应特征融合模型；

步骤S5:迭代训练自适应特征融合模型，使得标签一致损失收敛后，所获的多种模态的新特征，进行级联操作，获得融合特征。

进一步的，所述编码器为三层卷积层，使用BN正则化，激活函数为ReLU函数，每两层层卷积层中间加入一层最大池化层。

进一步的，所述的典型相关性分析,将两种模态作为第一对典型变量分析进行说明，多种模态则寻求一个依然最大化相关但与第一对模态典型变量不相关的向量；这样就得到了第二对典型变量。这个步骤会进行次。

设X，Y分别为模态1图像特征空间和模态2图像特征空间，x，y是多个特征空间的向量，将x，y投影到一维，对应的投影向量为a，b，则有：

x′＝a^Tx，y′＝b^Ty；

典型相关性分析的优化目标是最大化ρ(x′，y′)，得到对应的投影向量a，b，即

在投影前，对原始数据进行标准化，得到均值为0，方差为1的数据x，y，则有：

由于x，y的均值为0，则有：