[发明专利]基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置

权利要求书

1.一种基于Transformer和部件特征融合的鸟类细粒度图像识别方法，其特征在于，包括：

步骤1，通过将预处理后的图像输入基于Transformer架构网络的特征编码器，提取出基础特征图，并将所述基础特征图输入注意力模块，生成部件注意力图；

步骤2，将所述基础特征图和所述部件注意力图进行双线性注意力池化操作，获得判别性部件特征；

步骤3，通过将判别性部件特征在通道维度上进行拼接，得到融合了判别性部件信息的增强特征表示；

步骤4，通过将增强特征表示输入全连接层，完成类别的映射，并通过交叉熵损失和中心损失对模型参数进行优化。

2.如权利要求1所述的基于Transformer和部件特征融合的鸟类细粒度图像识别方法，其特征在于，所述步骤1中提取出基础特征图的方法具体包括：

步骤11a，将预处理好的原始图像I输入特征提取网络f，提取二维的基础特征图F，F∈(H·W)×D，其中H、W分别表示为该基础特征图F的高和宽，D表示嵌入维度大小；

步骤12a，将基础特征图F进行重组，获得三维的基础特征图该过程如下式(1)所示：

式中，reshape(·)表示对基础特征图进行重组。

3.如权利要求1或2所述的基于Transformer和部件特征融合的鸟类细粒度图像识别方法，其特征在于，所述步骤所述步骤1中生成部件注意力图的方法具体包括：

步骤11b，确定需要生成的部件注意力图的通道数M，即生成部件特征的数量；

步骤12b，由一个卷积核为1×1的二维卷积和Sigmoid函数组成注意力模块G，将特征图输入注意力模块G，生成表征目标物体的不同部件分布的部件注意力图A，如下式(2)所示：

式中，A_i(i＝1，2，...，M)表示目标物体中的第i个部件注意力图。

4.如权利要求3所述的基于Transformer和部件特征融合的鸟类细粒度图像识别方法，其特征在于，所述步骤2具体包括：

步骤21，将不同的部件注意力图A_i的维度扩展到与基础特征图的一致，接着将扩展后的部件注意力图A_i与基础特征图按照如下式(3)的方式逐元素相乘，得到判别性部件特征P_i：

式中，⊙表示逐元素相乘运算；

步骤22，将判别性部件特征P_i按照下式(4)提供的全局平均池化进行聚合操作，聚合各判别性部件特征P_i：

h_i＝ψ(P_i) (4)

式中，h_i表示第i个部件聚合后的特征，ψ(·)表示全局平均池化(GAP)。

5.如权利要求4所述的基于Transformer和部件特征融合的鸟类细粒度图像识别方法，其特征在于，所述步骤3具体包括：

步骤31，将聚合的判别性部件特征h_i在通道维度上进行拼接，从而得到增强的特征表示，即全局的部件特征Q，该特征融合了判别性部件信息，特征表达能力更强。

Q＝Concate(h₁，h₂，...，h_M) (5)

式中，Concate(·)表示特征拼接；

步骤32，将全局的部件特征Q进行L₂范数的归一化处理后，传入全连接层，完成特征向量到类别的映射。