[发明专利]一种细粒度图像分类方法、装置、计算机设备及存储介质

说明书

本申请属于图像处理技术领域，公开了一种细粒度图像分类方法、装置、计算机设备及存储介质，该方法包括：获取待分类的目标图像对；将目标图像对输入通道交互模块，得到目标图像对中的每张目标图像对应的图像内加强特征图和跨图像加强特征图；将各目标图像对应的跨图像加强特征图输入注意力增强和抑制模块，得到各目标图像对应的注意力增强特征图和注意力抑制特征图，并将得到的两个注意力抑制特征图输入特征提取网络以训练特征提取网络；将各目标图像对应的特征映射图、图像内加强特征图及注意力增强特征图输入分类模块，得到目标图像对的分类结果。本申请可以达到提升细粒度图像分类的准确率的效果。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种细粒度图像分类方法、装置、计算机设备及存储介质。

背景技术

细粒度图像分类的目的是在区分出基本类别的基础上，进行更精细的子类划分(如鸟的种类，车的款式，飞机的型号等)。相比传统的图像分类任务，细粒度图像分类任务难度更具有挑战性，因为细粒度图像分类中的子类别具有类间差异小、类内差异大的特点，其分类效果依赖于关键性区域的定位和细粒度特征的学习。

早期的细粒度图像分类方法往往依赖于大量的手工标注信息，造成实验成本过高，同时在细粒度分类任务中的分类效果也表现不佳。目前常用弱监督的学习方法实现细粒度图像分类，无需使用额外的边界框和零件标注，且其在现实场景中的可行性较高。然而，现有的大多数细粒度图像分类技术仅以单个图像作为输入，对图像进行特征提取，再根据提取的特征进行分类，无法模拟人类从不同图像之间识别共同特征和学习对比差异特征的能力，导致分类的准确率低。综上，现有技术存在细粒度图像分类的准确率低的问题。

发明内容

本申请提供了一种细粒度图像分类方法、装置、计算机设备及存储介质，能够提升细粒度图像分类的准确率。

第一方面，本申请实施例提供了一种细粒度图像分类方法，该方法基于通道交互注意力网络，通道交互注意力网络包括通道交互模块、注意力增强和抑制模块及分类模块；该方法包括：

获取待分类的目标图像对，目标图像对包括属于同一类别的两张不同的目标图像；

将目标图像对输入通道交互模块，得到目标图像对中的每张目标图像对应的图像内加强特征图和跨图像加强特征图；其中，通道交互模块包括特征提取网络和通道交互运算单元，特征提取网络用于对输入的目标图像对中的每张目标图像进行特征提取以输出每张目标图像对应的特征映射图，通道交互运算单元对各特征映射图进行运算以得到每张目标图像对应的图像内加强特征图和跨图像加强特征图；

将各目标图像对应的跨图像加强特征图输入注意力增强和抑制模块，得到各目标图像对应的注意力增强特征图和注意力抑制特征图，并将得到的两个注意力抑制特征图输入特征提取网络以训练特征提取网络；

将各目标图像对应的特征映射图、图像内加强特征图及注意力增强特征图输入分类模块，得到目标图像对的分类结果。

在其中一个实施例中，特征映射图包含多个不同特征的通道；通道交互运算单元对各特征映射图进行运算以得到每张目标图像对应的图像内加强特征图和跨图像加强特征图，包括：

通道交互运算单元通过计算各特征映射图所包含的不同特征之间的通道相关性，得到每个特征映射图自身的图像内通道相似度矩阵和各特征映射图之间的跨图像通道相似度矩阵；

通道交互运算单元根据各特征映射图对应的图像内通道相似度矩阵和跨图像通道相似度矩阵对各特征映射图进行加权计算，得到各特征映射图对应的图像内交互特征图和跨图像交互特征图；

通道交互运算单元对各特征映射图对应的图像内交互特征图和跨图像交互特征图进行卷积运算，并将经过卷积运算后的各图像内交互特征图和各跨图像交互特征图与其对应的各特征映射图进行聚合，得到每张目标图像对应的图像内加强特征图和跨图像加强特征图。