[发明专利]基于显著性分支特征融合的细粒度图像分类方法及系统

说明书

本发明公开一种基于显著性分支特征融合的细粒度图像分类方法及系统，该方法首先采用M种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得多张具有不同显著性的显著性图；再通过构建多分支细粒度图像分类模型，实现同时对细粒度图像以及多张显著性图像进行特征提取，显著提高了方法的效率；然后利用多张显著性特征图分别对细粒度特征图进行特征调制，以使获得的调制特征图能对更多有差异的区域给予更高的注意力，以有效克服现有技术中仅专注于某一图像特征而导致对细粒度图像分类效果不佳的问题；最后对多张调制特征图进行融合并根据融合特征图进行图像分类，融合以获得更加全面的图像特征可有效提高分类的精度。

技术领域

本发明涉及无人机自主降落技术领域，尤其是一种基于显著性分支特征融合的细粒度图像分类方法及系统。

背景技术

细粒度图像分类又被称为子类别图像分类，其目的是对属于同一基础类别的图像(汽车、狗、花、鸟、蔬果)进行更加细致的子类划分，但由于子类别间细微的类间差异以及较大的类内差异，较之普通的图像分类任务，细粒度图像分类难度更大。

细粒度图像容易受姿态、光照、遮挡、背景干扰等诸多不确定因素的影响，使得子类别具有类间相似度大而类内相似度较小的特点。细粒度图像的信噪比很小，包含足够区分度的信息往往只存在于很细小的局部区域中。

目前的细粒度图像分类方法都专注于一个较为单一的方面，如颜色特征、纹理特征、形状特征、运动特征、局部特征、图像频率等，或者说他们生成显著性图的方式各有不同，因而取得的效果比较有局限，在许多情况下对细粒度图像的分类精度较低。

发明内容

本发明提供一种基于显著性分支特征融合的细粒度图像分类方法及系统，用于克服现有技术中对细粒度图像分类精度低等缺陷。

为实现上述目的，本发明提出一种基于显著性分支特征融合的细粒度图像分类方法，包括：

获取细粒度图像；

采用M种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得M张具有不同显著性的显著性图，M≥1；

构建多分支细粒度图像分类模型，所述多分支细粒度图像分类模型包含主体网络和M+1个输入分支；

将细粒度图像以及与细粒度图像对应的M张显著性图分别输入训练好的多分支细粒度图像分类模型的M+1个输入分支中；

利用所述输入分支对输入的细粒度图像和显著性图进行特征提取，获得细粒度特征图和M张显著性特征图；

通过所述主体网络，利用所述M张显著性特征图分别对所述细粒度特征图进行特征调制，得到M张调制特征图，对所述M张调制特征图进行融合得到融合特征图，并根据所述融合特征图，获得细粒度图像的类别。

为实现上述目的，本发明还提出一种基于显著性分支特征融合的细粒度图像分类系统，包括：

细粒度图像获取模块，用于获取细粒度图像；

显著性检测模块，用于采用M种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得M张具有不同显著性的显著性图，M≥1；

模型构建模块，用于构建多分支细粒度图像分类模型，所述多分支细粒度图像分类模型包含主体网络和M+1个输入分支；

分类模块，用于将细粒度图像以及与细粒度图像对应的M张显著性图分别输入训练好的多分支细粒度图像分类模型的M+1个输入分支中；利用所述输入分支对输入的细粒度图像和显著性图进行特征提取，获得细粒度特征图和M张显著性特征图；通过所述主体网络，利用所述M张显著性特征图分别对所述细粒度特征图进行特征调制，得到M张调制特征图，对所述M张调制特征图进行融合得到融合特征图，并根据所述融合特征图，获得细粒度图像的类别。