[发明专利]基于度量学习的多模态遥感目标识别方法

权利要求书

1.一种基于度量学习的多模态遥感目标识别方法，其特征在于，步骤如下：

多模态遥感目标识别方法基于模型来实现，模型的主体分为风格转换模块和风格内容度量学习模块两部分；模型整体是一个分类网络，分为特征提取器和目标识别分类器，在特征提取器中间是风格转换模块和风格内容度量学习模块，用于优化分类结果；

(1)风格转换模块

用图片风格迁移算法AdaIN作为风格转换模块来分离组合输入图像、正样本和负样本的风格和内容；从相同类别中采样输入图像x和正样本x⁺，从不同类别中采样负样本x^-，将其输入到特征提取器中分别得到它们对应的特征h、h⁺、其中N是批量大小，C是通道数，H是图像高度，W是图像宽度；然后将特征的高和宽展平，得到其均值和方差：

其中，∈是一个避免σ为0的数；

得到三幅图像的均值和方差后，用AdaIN重组图像的风格和内容：

其中，μ(h)，σ(h)分别是特征h的均值和方差，分别是特征/的均值和方差，h和/表示两个不同的特征，用“^”加以区分；通过公式(3)获取h的内容信息以及/的风格信息；通过组合不同风格和内容，得到/其中上角标是内容，下角标是风格；

(2)风格内容度量学习模块

首先，类间分离度量；用类间分离度量来学习更多偏向内容的特征，具体来说，用x的风格特征分别与x⁺,x^-的内容特征结合，也就是和/将二者输入到目标识别分类器中，分散度量损失如下：

其中，N是批量，y是h通过目标识别分类器的输出结果，上标和下标分别是内容和风格，ε是一个防止分母为0的数；通过该损失可分离内容不同风格相同的图像，使模型不容易将风格相同，内容不同的图像识别为同一图像，而更偏向于将内容相同的图像识别为同一图像；

其次，类内聚合度量；类内聚合度量的两个损失如下：

通过公式(5)使模型识别更多内容相同但风格不同的图像，从而使模型泛化性更强；公式(6)进一步提高了使用来自同一类别但不同个体的特征的识别泛化能力，从而减轻了类别内风格差异的不利影响。