[发明专利]多模态图像的自适应特征融合方法

摘要

本发明提供了一种多模态图像的自适应特征融合方法，主要解决针对深度网络提取的高层特征的融合存在的冗余性问题。本发明的具体步骤如下：首先，构建编码器，分别获得多种模态的特征；其次，利用典型性相关的特征筛选策略对多种模态的特征进行筛选，获得多种模态的新特征；再次，构建解码器，所获的新特征作为输入，分别获得新的模态图像；然后，构建一个分类器，利用标签一致损失，更新自适应特征融合模型；最后，所获的多种模态的新特征，进行级联操作，获得融合特征。本发明能够自适应的学习不同模态的高层特征，具有更好的判别性。

主权项

1.一种多模态图像的自适应特征融合方法，其特征在于，包括以下步骤：步骤S1：构建编码器，并输入多种模态图像，分别获得多种模态的特征；步骤S2：利用典型性相关分析的特征筛选策略对多种模态的特征进行筛选，获得多种模态的新特征；步骤S3：构建解码器，将多种模态的新特征作为输入，分别获得多种模态新的模态图像；步骤S4.：构建分类器，并根据原模态图像和新的模态图像，利用标签一致损失，更新自适应特征融合模型；步骤S5：迭代训练自适应特征融合模型，使得标签一致损失收敛后，所获的多种模态的新特征，进行级联操作，获得融合特征。