[发明专利]基于注意力机制图卷积神经网络的图像检索方法

说明书

本发明提供一种基于注意力机制—图卷积网络以及课程学习的基于内容的图像检索方法，包括下列步骤：根据数据集的特征分布情况划分数据集，将数据集划分为简单、中等和困难以及不可使用四种字集，利用课程学习原理由易到难将四种子集输入到深度学习神经网络中。然后使用基于图卷积的深度学习网络模块提取图片的显著特征，构建图片的空间特征图并进行推理得到最终的特征表示。最后使用最终的特征表示进行关联匹配进行图像检索。

技术领域

本发明属于计算机视觉领域，涉及基于注意力机制图卷积神经网络的图像检索方法。

背景技术

基于内容的图像检索，即CBIR(Content-based image retrieval)，是计算机视觉领域中关注大规模数字图像内容检索的研究分支。典型的CBIR系统，允许用户输入一张图片，以查找具有相同或相似内容的其他图片。这一概念于1992年由T.Kato提出的。他在论文中构建了一个基于色彩与形状的图像数据库，并提供了一定的检索功能进行实验。此后，基于图像特征提取以实现图像检索的过程以及CBIR这一概念，被广泛应用于各种研究领域，如统计学、模式识别、信号处理和计算机视觉。

相关研究已发展近20年，基于CBIR技术的图像检索系统，在建立图像数据库时，系统对输入的图像进行分析并分类统一建模，然后根据各种图像模型提取图像特征存入特征库，同时对特征库建立索引以提高查找效率。而用户在通过用户接口设置查询条件时，可以采用一种或几种的特征组合来表示，然后系统采用相似性匹配算法计算关键图像特征与特征库中图像特征的相似度，然后按照相似度从大到小的顺序将匹配图像反馈给用户。用户可根据自己的满意程度，选择是否修改查询条件，继续查询，以达到令人满意的查询结果。

图像相似度是指人类对图像内容认识上(即语义)的差异，导致通过计算查询样图和候选图像之间在视觉特征上存在距离。如果这个距离满足一定条件，我们则可以说这两图像相似度匹配。当然，如果能将语义特征和视觉特征结合起来，相似度匹配程度会更高，检索结果会更让人满意，但这是研究的一大难题。基于深度学习的图像检索神经网络虽然在一定程度上能够解决上述的一些问题，但是仍然无法建立起局部特征与局部特征之间的联系，这使得一些局部特征之间的关系需要使用很大的感受野获取，这意味着需要更深层次的网络以及极高的运算量增长。

发明内容：

本发明的目的在于建立一种可以更加可靠、更加准确的基于注意力机制—图卷积网络以及课程学习的基于内容的图像检索方法，主要包括将训练集根据特征向量的稀疏-稠密性划分为若干个子集，并按照由易到难的顺序传递进入嵌入了图卷积神经网络模块和注意力机制的深度学习神经网络中，对图片的局部显著特征之间的关系进行推理，并使用注意力机制加强这一推理，达到通过联系局部特征的关系关系来减轻不相关物体的影响与干扰、提高图像检索准确率、神经网络的鲁棒性。其技术实现方案主要分为以下几部分：

一种基于注意力机制-图卷积神经网络以及课程学习的基于内容的图像检索方法，包括以下步骤：

第一步：将数据集按照统一标准划分为训练集、校验集与测试集。利用预训练的深度学习神经网络提取待训练数据集的特征向量，根据特征向量的相似性与稀疏、稠密性进行数据集划分，具体步骤如下：

(1)去除神经网络的最后一层全连接层，将待训练的数据集传送入除去全连接层的神经网络中，使用resnet101深度学习神经网络提取待训练的数据集的特征向量。

(2)获得特征矩阵后，计算同一个查询的所有图片的特征向量的欧几里得距离，并得到特征——稀疏稠密矩阵。

(3)根据特征——稀疏稠密矩阵，矩阵中的每一个值代表两个图片之间欧几里得距离的大小Dis。获得欧几里得距离矩阵后，设定一个阈值T，对于欧几里得矩阵中的每一个值，低于阈值T的被认为两个图片之间的特征相差过大，以至于无法被神经网络轻松地识别为同一类物体：