[发明专利]基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置

说明书

本发明公开了一种基于Transformer和部件特征融合的鸟类细粒度图像识别方法及装置，该方法包括：步骤1，通过将预处理后的图像输入基于Transformer架构网络的特征编码器，提取出基础特征图，并将所述基础特征图输入注意力模块，生成部件注意力图；步骤2，将所述基础特征图和所述部件注意力图进行双线性注意力池化操作，获得判别性部件特征；步骤3，通过将判别性部件特征在通道维度上进行拼接，得到融合了判别性部件信息的增强特征表示；步骤4，通过将增强特征表示输入全连接层，完成类别的映射，并通过交叉熵损失和中心损失对模型参数进行优化。本发明能够实现在弱监督下对鸟类图像进行高精度识别。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及深度学习和细粒度图像识别技术，具体涉及一种基于Transformer与部件特征融合的鸟类细粒度识别方法及装置。

背景技术

鸟类图像识别属于细粒度图像识别任务。细粒度图像识别是对属于同一个一般类别的不同子类进行区分。一般的图像识别，是对物体所属的大类别进行划分，如区分马、猫等，这些不同类物体间的特征差异较大，类别相对容易区分。对于细粒度图像，物体间的差异通常存在于细微的部分，且同一物体由于尺度或视角、背景等而呈现出较大的视觉差异，因此识别难度更大。

发明内容

本发明的目的在于提供一种基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置，能够获得鸟类细粒度图像更高的识别精度。

为实现上述目的，本发明提供一种基于Transformer和部件特征融合的鸟类细粒度图像识别方法，其包括：

步骤1，通过将预处理后的图像输入基于Transformer架构网络的特征编码器，提取出基础特征图，并将所述基础特征图输入注意力模块，生成部件注意力图；

步骤2，将所述基础特征图和所述部件注意力图进行双线性注意力池化操作，获得判别性部件特征；

步骤3，通过将判别性部件特征在通道维度上进行拼接，得到融合了判别性部件信息的增强特征表示；

步骤4，通过将增强特征表示输入全连接层，完成类别的映射，并通过交叉熵损失和中心损失对模型参数进行优化。

进一步地，所述步骤1中提取出基础特征图的方法具体包括：

步骤11a，将预处理好的原始图像I输入特征提取网络f，提取二维的基础特征图F，F∈(H·W)×D，其中H、W分别表示为该基础特征图F的高和宽，D表示嵌入维度大小；

步骤12a，将基础特征图F进行重组，获得三维的基础特征图该过程如下式(1)所示：

式中，reshape(·)表示对基础特征图进行重组。

进一步地，所述步骤所述步骤1中生成部件注意力图的方法具体包括：

步骤11b，确定需要生成的部件注意力图的通道数M，即生成部件特征的数量；

步骤12b，由一个卷积核为1×1的二维卷积和Sigmoid函数组成注意力模块G，将特征图输入注意力模块G，生成表征目标物体的不同部件分布的部件注意力图A，如下式(2)所示：

式中，A_i(i＝1，2，…，M)表示目标物体中的第i个部件注意力图。

进一步地，所述步骤2具体包括：

步骤21，将不同的部件注意力图A_i的维度扩展到与基础特征图的一致，接着将扩展后的部件注意力图A_i与基础特征图按照如下式(3)的方式逐元素相乘，得到判别性部件特征P_i：