[发明专利]基于显著性分支特征融合的细粒度图像分类方法及系统

权利要求书

1.一种基于显著性分支特征融合的细粒度图像分类方法，其特征在于，包括：

获取细粒度图像；

采用M种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得M张具有不同显著性的显著性图，M≥1；

构建多分支细粒度图像分类模型，所述多分支细粒度图像分类模型包含主体网络和M+1个输入分支；

将细粒度图像以及与细粒度图像对应的M张显著性图分别输入训练好的多分支细粒度图像分类模型的M+1个输入分支中；

利用所述输入分支对输入的细粒度图像和显著性图进行特征提取，获得细粒度特征图和M张显著性特征图；

通过所述主体网络，利用所述M张显著性特征图分别对所述细粒度特征图进行特征调制，得到M张调制特征图，对所述M张调制特征图进行融合得到融合特征图，并根据所述融合特征图，获得细粒度图像的类别。

2.如权利要求1所述的基于显著性分支特征融合的细粒度图像分类方法，其特征在于，所述M种不同的显著性检测方式的显著性增强点各不相同，所述显著性增强点为颜色特征增强、纹理特征增强、形状特征增强、亮度特征增强、方位特征增强、运动特征增强、局部特征增强和图像频率增强中的至少一种。

3.如权利要求2所述的基于显著性分支特征融合的细粒度图像分类方法，其特征在于，采用M种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得M张具有不同显著性的显著性图，包括：

采用3种不同的显著性检测方式分别对细粒度图像进行显著性检测，获得3张具有不同显著性的显著性图。

4.如权利要求3所述的基于显著性分支特征融合的细粒度图像分类方法，其特征在于，所述3种不同的显著性检测方式分别为Iseel显著性检测、Itti-Koch显著性检测和BMS显著性检测；

所述Iseel显著性检测基于两方面生成显著性图，一方面场景的背景信息和低级视觉特征一起调节注意力，另一方面场景记忆性对由于场景与先前视觉体验相似而引起的眼球运动模式的影响；

所述Itti-Koch显著性检测从视觉输入中生成多个对应于多尺度图像特征的激活映射，并将多个激活映射组合成单一的显著性图；

所述BMS显著性检测通过分析布尔图的拓扑结构来获得显著性，通过对图像的颜色通道进行随机阈值化而生成显著性图。

5.如权利要求1所述的基于显著性分支特征融合的细粒度图像分类方法，其特征在于，所述输入分支包括2个卷积层，用于对输入的图像进行特征提取；

所述主体网络依次包括M个并行的特征调制层、3个卷积层、2个全连接层和1个softmax输出层，每个所述特征调制层后面均连接1个最大池化层；

所述特征调制层用于利用显著性图对细粒度特征图进行特征调制，获得调制特征图；

所述最大池化层用于对所述调制特征图进行池化；

所述卷积层用于对输入的融合特征图进行特征提取；

所述全连接层用于对输入的融合特征图的提取特征进行分类；

所述softmax输出层用于根据所述全连接层的输出对细粒度图像进行分类和归一化，获得细粒度图像的类别。

6.如权利要求1所述的基于显著性分支特征融合的细粒度图像分类方法，其特征在于，利用所述M张显著性特征图分别对所述细粒度特征图进行特征调制，得到M张调制特征图，包括：

利用所述M张显著性特征图分别对所述细粒度特征图进行特征调制，得到M张调制特征图为：

LS_i(x,y,z)＝L(x,y,z)*S_i(x,y)

式中，LS_i(x,y,z)为调制特征图；L(x,y,z)为细粒度特征图；S_i(x,y)为显著性特征图；i为一张细粒度图像对应的显著性特征图的数量，i＝1,…,M。