[发明专利]一种基于知识注意力的细粒度图像分类方法

说明书

本发明公开一种基于知识注意力的细粒度图像分类方法，包括特征过滤网络、知识引导模块和知识决策模块；特征过滤网络用于将输入的原始图片信息经过深度卷积神经网络模型得到若干特征图，将各个特征图在各自像素点位置进行纵向最大值操作，得到一张包含每个最大像素值的特征图(注意力特征图)用以表示当前图像重要点的集合，根据当前注意力特征图与原始图片比较得到注意力特征图所在位置及颜色信息；知识引导模块通过实体嵌入向量及视觉特征学习转换权重W，以此进行知识引导；知识决策模块用于对知识库三元组信息进行类之间的相似度计算，通过设置阈值的方式作为类的指标，并通过softmax进行概率输出并作为偏移量加入到图像分类上。

技术领域

本发明涉及细粒度图片分类和深度学习领域，具体涉及一种在利用外部数据的条件下，利用知识信息来辅助卷积神经网络图像分类方法。

背景技术

细粒度图像识别是计算机视觉领域中的一个重要问题，细粒度图像识别是识别物体子类的关系，由于细粒度图像识别对于类内数据具有较大的方差，对类间数据具有较小的方差，这导致在识别细粒度图像上提升了很大难度和挑战。细粒度图像识别是典型的分类问题，其任务是预估一个从实值特征向量x∈Rⁿ到预测目标T(回归：T＝R，分类：T＝(+,-))的映射函数y:Rⁿ→T。在监督学习中，假设有数据集D＝{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),...,(x⁽ⁿ⁾,y⁽ⁿ⁾)}，其中x⁽ⁱ⁾为特征向量，y⁽ⁱ⁾为预测目标，n表示样本个数。本发明处理的问题为：x是图片的特征向量，和其他图片的特征相比，具有极大的相似性，只有较小局部区域具有差异，我们的目的就是识别出这个辨别性差异性的区域，主要提取该区域特征来进行细粒度图片分类。

本发明最相似的现有技术实现方案：

细粒度图像识别为了挖掘潜在的辨别性特征，工作大致分为以下三类：(1)定位分类子网络进行细粒度图像识别，(2)端到端的特征编码进行细粒度图像识别，(3)用外部信息进行细粒度图像识别。用定位分类子网络进行细粒度识别，为了缓解类内变化比较大的问题，核心目的是捕捉细粒度对象具有辨别性的语义部分，然后再建立和这些语义部分相关的中级表征用于最后的分类。具体而言，先定位这些关键部位，设计出定位子网络。之后再连接一个用于识别的分类子网络。这两个子网络合作组成的框架就是第一个类别，也就是用定位分类子网络进行细粒度识别。这一类别的早期工作依赖于额外的密集部位注释来定位目标的语义关键部位，例如头部、躯干。他们中的一些学习了基于部位的检测器，还有一些利用分割方法来定位部位。然后，这些方法将多个部位特征当做整个图像的表征，并将其馈送到接下来的分类字网络中进行最终的识别。因此，这些方法也称为基于部位的识别方法。最近的趋势是，只需要使用图像标签就可以准确定位这些部位。他们共同的思路是先找到相对应的部位，然后再比较他们的外观。具体而言，通过捕获细粒度类别中共享的语义部位，比如头部和躯干，同时还希望发现这些部位表征之间的微小差别。像注意力机制和多阶段策略这种方法可以对集成的定位分类子网络进行复杂的联合训练。用端到端的特征编码进行细粒度识别的方法，这一类是通过开发用于细粒度识别的强大深度模型来直接学习更具辨别力的表征。这类工作中最具代表性的方法是双线性CNN，它用来自两个深度CNN池化后的特征的外积来表征图像，从而对卷积激活的高阶统计量进行编码，以增强中级学习能力。由于其模型容量较高，双线性CNN在细粒度识别中实现了优良的性能。利用外部信息进行细粒度识别的方法主要包括对额外的数据例如文本，知识库等信息用不同的嵌入方法生成语义空间向量，与视觉向量相融合的方式来辅助细粒度分类。

现有技术的缺点：

第一类方法需要大量的手工标注信息，这样密集部位注释是劳动密集型工作，限制了细粒度应用在现实世界中的可扩展性和实用性。第二类端到端的方式因双线性特征的维度极高，因此它无法在现实世界中应用，尤其是大规模应用。第三类的利用外部信息的主要问题是如何有效和可解释的融合方式是此类问题的关键缺点。