[发明专利]基于度量学习的多模态遥感目标识别方法

说明书

本发明属于计算机视觉图像信息处理技术领域，一种基于度量学习的多模态遥感目标识别方法。本发明的方法重新考虑了图像风格与深度模型泛化性之间的关系，并进一步提出了一种独特的端到端的三重风格内容度量网络，该网络可以减少域泛化问题的不利影响，提高深度模型的泛化能力。具体来说，分离输入图像的风格和内容，然后对用风格转换模块替换的风格特征施加约束，以迫使我们的模型学习与内容有关与风格无关的有判别力的特征。本发明利用三重度量学习的方法，增强了遥感目标别模型提取特征的能力。目前存在的遥感目标识别方法仅对一种域的数据集有良好的效果，对未知域的表现很差。本发明的方法解决了这一问题，使模型对不同域数据集均具有泛化性。

技术领域

本发明属于计算机视觉图像信息处理技术领域，特别是涉及基于度量学习的多模态遥感目标识别方法。

背景技术

与本发明相关的方法包括三方面：一是遥感图像目标识别，二是域泛化问题，三是度量学习方法。

目标识别，也叫目标分类，受益于神经网络的发展，深度学习在一般的目标识别相关研究领域取得了最先进的成果。早期工作通常从现有的卷积神经网络中提取特征，比如VGG网络，GoogleNet和ResNet。对于遥感图像目标识别，最近提出了一些方法，通过融合不同层的特征，提高了卷积神经网络学习有判别力的特征的能力。Liu等人在文献《“Sceneclassification based on two-stage deep feature fusion》中融合了CaffeNet和VGG-Net中的卷积层和全连接层的特征，然后整合了两个cnn，从而进一步提高了分类性能。Ma等人在文献《A novel adaptive hybrid fusion network for multiresolution remotesensing images classification》将数据与自适应加权强度-色调饱和融合，并将特征与注意力融合，从而提供具有竞争力的结果。

域泛化问题旨在学习一种有判别力的通用表示，从而使模型对未知领域表现良好。2011年，Blanchard等人在文献《Generalizing from several relatedclassification tasks to a new unlabeled sample》中首次将域泛化问题引入深度学习中。Ghifary等人在文献《Domain generalization for object recognition with multi-task autoencoders》中以域对齐为理论基础，表明训练后的模型可以最小化源域之间的特征方差。Balaji等人在文献《Metareg:Towards domain generalization using meta-regularization》中寻找一个正则化器，使特征对域转移保持不变，使用一个新的正则化函数来元学习正则化参数。

度量学习将样本分为同属性类别的正样本对和不同属性类别的负样本对，并通过增大正样本对距离，减小负样本对距离来学习特征表示。Hadsell等人在文献《Dimensionality reduction by learning an invariant mapping》中对表示施加对比损失来训练网络，以更好地区分相似样本对和不同的样本对。Hoffer等人在文献《Deepmetric learning using triplet network》中对输入图像的正负样本之间的距离进行编码，并嵌入度量损失。Cheng等人在文献《When deep learning meets metric learning:Remote sensing image scene classification via learning discriminative cnns》中提出了判别目标函数和度量学习正则化来有效地学习判别卷积网络。