[发明专利]一种基于双局部交互网络使用草图检索图像的方法

权利要求书

1.一种基于双局部交互网络使用草图检索图像的方法，其特征在于：包括以下步骤：

构建草图和与之对应的真实图像数据集；

通过草图和与之对应的真实图像数据集构建双局部交互网络模型；

对双局部交互网络模型进行训练，然后使用训练的双局部交互网络模型用于草图图像检索。

2.根据权利要求1所述的基于双局部交互网络使用草图检索图像的方法，其特征在于：

所述构建草图和与之对应的真实图像数据集包括：

通过收集人工手绘物体并制作成图像样本，同时收集与之对应的真实物体的图像样本，并对两次图像样本的类别做标记，最后收集的图像样本数据80%作为训练集、图像样本数据20%作为测试集。

3.根据权利要求2所述的基于双局部交互网络使用草图检索图像的方法，其特征在于：

所述通过草图和与之对应的真实图像数据集构建双局部交互网络模型包括：

首先利用训练集作为构建双局部交互网络模型的样本；

根据给定查询草图样本,与草图不同类别的真实负样本图片,与草图对应的真实正样本图片，组成三元组样本组合(,)；

将三元组样本组合(,)输入到局部特征提取器内部，从而获取局部特征；

将提取的局部特征输入到双交互模块中，其中，双交互模块包括自我交互模块和交叉交互模块；

通过计算三元组样本组合的损失从而对整个网络进行优化。

4.根据权利要求3所述的基于双局部交互网络使用草图检索图像的方法，其特征在于：

所述将三元组样本组合(,)输入到局部特征提取器内部，从而获取局部特征包括：

对应三元组样本组合(,)的输入构建三个互不相交的编码器网络，其中编码器网络使用resnet50用于每个网络的分支并且移除conv4层以及后续层用于获取编码细粒度细节；

对每个编码器提取的局部特征进行范数归一化，用于约束特征空间在超球面上进行稳定训练。

5.根据权利要求3所述的基于双局部交互网络使用草图检索图像的方法，其特征在于：

所述自我交互模块，用于计算同一个照片或草图的局部特征之间的相似性来消除背景特征。

6.根据权利要求5所述的基于双局部交互网络使用草图检索图像的方法，其特征在于：

通过对获取的局部特征进行展平；

其中表示归一化的局部特征，展平后局部特征；

最后与局部特征展平后的转置矩阵内积分别计算局部特征相似性矩阵，，其中，C为图像通道数，对彩色图像，C=3，H为图像高度，W为图像宽度，T表示数学上的转置运算。

7.根据权利要求3所述的基于双局部交互网络使用草图检索图像的方法，其特征在于：

所述交叉交互模块，用于计算所有局部特征之间的距离，即计算草图的局部特征与三元组其他样本的局部特征内积，其中，的行向量表示草图的一个局部特征与真实图像的所有局部特征之间的距离；

行向量的最小值设置为局部距离，其中局部距离表示对齐的局部特征之间的距离，；

对局部距离进行范数求和，求和公式如下：

。

8.根据权利要求3所述的基于双局部交互网络使用草图检索图像的方法，其特征在于：

所述计算三元组样本组合的损失包括：

，其中是超参数。

9.根据权利要求1所述的基于双局部交互网络使用草图检索图像的方法，其特征在于：

所述对双局部交互网络模型进行训练，然后使用训练的双局部交互网络模型用于草图图像检索包括：

利用Adam优化器对双局部交互网络模型进行训练，并且当双局部交互网络模型在测试集上达到最大值作为最佳模型，然后使用双局部交互网络模型用于草图检索真实样本。