[发明专利]基于注意力机制图卷积神经网络的图像检索方法

权利要求书

1.基于注意力机制图卷积神经网络的图像检索方法，其特征在于：包括以下步骤：

将数据集按照统一标准划分为训练集、校验集与测试集，利用预训练的深度学习神经网络提取待训练数据集的特征向量，根据特征向量的相似性与稀疏、稠密性进行数据集划分，

将划分好的训练集按照由易到难的顺序传入基于图卷积神经网络的深度学习神经网络中，进行图像检索工作；在分步训练的过程中，损失函数为Triplet损失函数，训练中等难度的数据集时，损失函数是简单数据集与中等数据集两个损失函数按照3∶7加权想加，而训练困难的数据集时，损失函数是简单、中等、困难三个函数的平均加权；

使用图卷积神经网络与注意力机制对传入的图片进行显著特征的提取，提取最终的图片特征表示，图卷积神经网络的主要公式如下：

F_g＝W_r(A_gF_vW_g)+F_v

其中Ag是(H×W)×(H×W)的邻接矩阵，Wr为残差结构矩阵，Fv是深度学习网络输出的矩阵，Wg为图卷积神经网络的权重矩阵。注意力机制的主要公式如下：

F_mask＝σ(MLP(AvgPool(F_g)))

其中σ是激活函数，MLP是多层全连接层，AvgPool是平均池化层；

使用图片特征表示进行图像检索工作，提高基于内容的图像检索工作的准确度与鲁棒性，并提高神经网络对抗不相关物体干扰的能力。

2.根据权利要求1所述的一种基于注意力机制图卷积神经网络的图像检索方法，其特征在于：

去除神经网络的最后一层全连接层，将待训练的数据集传送入除去全连接层的神经网络中，使用resnet101深度学习神经网络提取待训练的数据集的特征向量；

获得特征矩阵后，计算同一个查询的所有图片的特征向量的欧几里得距离，并得到特征——稀疏稠密矩阵；

根据特征——稀疏稠密矩阵，矩阵中的每一个值代表两个图片之间欧几里得距离的大小Dis，获得欧几里得距离矩阵后，设定一个阈值T，对于欧几里得矩阵中的每一个值，低于阈值T的被认为两个图片之间的特征相差过大，以至于无法被神经网络轻松地识别为同一类物体：

对距离矩阵使用阈值T公式后，对这张图片的欧几里得矩阵中的每一个值(0或1)进行求和，得到这张图片的特征向量稀疏-稠密得分：

其中i，j代表同一个查询中的两张图片的特征表示，T是设定的阈值，得分较高的图片被认为与其他图片的特征向量距离较近，因此被划分为简单组，同理，将距离中等的图片划分为中等组，将距离较远的图片划分为困难组，将那些脱离了簇群过大的图片划分为不可识别组，不可识别组在训练过程中被移除。

3.根据权利要求2所述的一种基于注意力机制图卷积神经网络的图像检索方法，其特征在于，将数据集按照统一标准划分为训练集、校验集与测试集，利用预训练的深度学习神经网络提取待训练数据集的特征向量，根据特征向量的相似性与稀疏、稠密性进行数据集划分，具体为，根据数据集经过深度学习神经网络得到的特征向量的欧几里得距离矩阵，将数据集划分为简单，中等，困难三个子集。

4.根据权利要求3所属的一种基于注意力机制图卷积神经网络的图像检索方法，其特征在于，将数据集由易到难输入深度神经网络中进行训练。

5.根据权利要求2所属的一种基于注意力机制图卷积神经网络的图像检索方法，其特征在于，注意力机制-图卷积神经网络在基于内容的图像检索中的应用。

6.根据权利要求2所属的一种基于注意力机制图卷积神经网络的图像检索方法，其特征在于所述步骤的数据集划分、损失函数的加权求和、图卷积神经网络以及注意力机制的公式说明。