[发明专利]基于深度学习的图像细粒度分类方法及装置

说明书

本发明涉及一种基于深度学习的图像细粒度分类方法，包括步骤：获取待分类的中草药图像；将所述待分类的中草药图像输入HP‑SKNet图像细粒度分类模型进行处理，得到所述待分类的中草药图像的所属类别。相对于现有技术，本发明提供一种基于深度学习的图像细粒度分类方法通过有效的注意力机制与跨层双线性池化框架，能够精确地定位图像中具有区分性的区域并且提取丰富全面、有效的细粒度特征，从而准确高效地分辨易于混淆的待分类主体。本发明将细粒度概念引入中草药分类领域，不同于以往的轮廓形状特征提取，能够提取更细粒度的特征，满足对易于混淆的中草药识别的需要。

技术领域

本发明涉及细粒度图像分类技术领域，尤其是涉及一种基于深度学习的图像细粒度分类方法及装置。

背景技术

中医药大学里，药用植物学野外实习是药学专业实验课程体系的重要组成部分，学生在野外近距离观察、寻找中草药，但由于中草药种类纷繁复杂，而学生经验和知识储备不足，当学生无法完全准确地识别出中草药时，需要老师的指导或者查找相关资料。为了提高学生的学习效率，可以通过一种教学辅助应用，对学生手机拍摄上传的中草药图像进行分类识别得到对应的中草药类别，进而得到该中草药的名称、功效等相关信息。

然而不少不同类别的中草药外观轮廓呈现出较小的差异，极易混淆；另外考虑到在野外自然环境下，由于拍摄角度、光照、背景等因素，导致属于同一类别的中草药图像会呈现出较大的差异。目前关于中草药图像分类的研究大多是粗粒度级别的，不能关注到图像中的显著区域，提取的图像特征单一，无法很好地解决自然环境下中草药图像存在的不同类别差异小、同类别差异大的问题。而在细粒度级别的图像分类研究中，一种具有较为优越的细粒度图像分类能力的双线性卷积神经网络，通过对最后一个卷积层的输出特征进行外积操作，根据平移不变性，对局部特征进行交互，最终得到图像的特征表示，在一定程度上提升了分类效果，但是这种方法存在外积操作导致维度过高、局部的特征交互会导致忽略其它具有区分性的特征，以及将图像中的一些如背景等的无关区域的特征进行交互等问题，从而影响了分类的准确率。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于深度学习的图像细粒度分类方法，能够获取更全的具有区分性特征，同时排除无关特征的影响，提高分类准确率。

本发明是通过以下技术方案实现的：一种基于深度学习的图像细粒度分类方法，包括步骤：

获取待分类的中草药图像；

将所述待分类的中草药图像输入HP-SKNet图像细粒度分类模型进行处理，得到所述待分类的中草药图像的所属类别；

其中，所述HP-SKNet图像细粒度分类模型包括注意力特征提取子模型、跨层双线性交互子模型和分类子模型，所述注意力特征提取子模型包括SKNet网络的前向传播模块和SK卷积模块，所述SKNet网络的前向传播模块用于根据所述待分类的中草药图像获得多个不同卷积层次的初步特征图，所述SKNet网络的SK卷积模块用于根据每一所述初步特征图获得对应的多权重特征图；所述跨层双线性交互子模型包括交互层，所述交互层用于将所述多权重特征图两两交叉组合，并根据每组多权重特征图进行双线性模型的计算并进行交互，以及根据全部交互结果级联获得交互特征向量F_HP-SKNet；所述分类子模型用于根据所述交互特征向量F_HP-SKNet进行分类，确定所述待分类的中草药图像所属的类别。

相对于现有技术，本发明提供一种基于深度学习的图像细粒度分类方法通过有效的注意力机制与跨层双线性池化框架，能够精确地定位图像中具有区分性的区域并且提取丰富全面、有效的细粒度特征，从而准确高效地分辨易于混淆的待分类主体。本发明将细粒度概念引入中草药分类领域，不同于以往的轮廓形状特征提取，能够提取更细粒度的特征，满足对易于混淆的中草药识别的需要。

进一步地，所述交互特征向量F_HP-SKNet的表达式为：