[发明专利]基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置

摘要

本发明公开了一种基于Transformer和部件特征融合的鸟类细粒度图像识别方法及装置，该方法包括：步骤1，通过将预处理后的图像输入基于Transformer架构网络的特征编码器，提取出基础特征图，并将所述基础特征图输入注意力模块，生成部件注意力图；步骤2，将所述基础特征图和所述部件注意力图进行双线性注意力池化操作，获得判别性部件特征；步骤3，通过将判别性部件特征在通道维度上进行拼接，得到融合了判别性部件信息的增强特征表示；步骤4，通过将增强特征表示输入全连接层，完成类别的映射，并通过交叉熵损失和中心损失对模型参数进行优化。本发明能够实现在弱监督下对鸟类图像进行高精度识别。