[发明专利]一种基于双局部交互网络使用草图检索图像的方法

说明书

本发明公开了一种基于双局部交互网络使用草图检索图像的方法，包括以下步骤：构建草图和与之对应的真实图像数据集。本发明利用给定的草图样本、与草图不同类别的真实负样本图片以及与草图对应的真实正样本图片从而组成三元组样本组合，利用局部特征提取器将输入的三元组样本组合提取出局部特征，通过自我交互模架和交叉交互模块分别对提取的局部特征进行冗余特征消除以及局部特征学习，由此计算三元组样本组合的损失，从而优化构建的双局部交互网络模型，方便双局部交互网络模型能够对草图进行快速的检索，相比传统方法检索速度更快，相比于具体图像检索更加灵活。

技术领域

本发明属于计算机视觉图像处理技术领域，特别涉及一种基于双局部交互网络使用草图检索图像的方法。

背景技术

图像检索已应用于电子商务、平面设计、安全监控等多个领域。图像检索领域主要有两种方法：基于文本和基于内容的图像检索。然而，基于文本的图像检索难以检索到难以用语言描述的复杂图像，而基于内容的图像检索则难以获得图像，因为我们通常在要检索图像时大脑中只有图像。

因此，发明一种基于双局部交互网络使用草图检索图像的方法来解决上述问题很有必要。

发明内容

针对上述问题，本发明提供了一种基于双局部交互网络使用草图检索图像的方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于双局部交互网络使用草图检索图像的方法，包括以下步骤：

构建草图和与之对应的真实图像数据集；

通过草图和与之对应的真实图像数据集构建双局部交互网络模型；

对双局部交互网络模型进行训练，然后使用训练的双局部交互网络模型用于草图图像检索。

进一步的，所述构建草图和与之对应的真实图像数据集包括：

通过收集人工手绘物体并制作成图像样本，同时收集与之对应的真实物体的图像样本，并对两次图像样本的类别做标记，最后收集的图像样本数据80%作为训练集、图像样本数据20%作为测试集。

进一步的，所述通过草图和与之对应的真实图像数据集构建双局部交互网络模型包括：

首先利用训练集作为构建双局部交互网络模型的样本；

根据给定查询草图样本,与草图不同类别的真实负样本图片,与草图对应的真实正样本图片，组成三元组样本组合(,)；

将三元组样本组合(,)输入到局部特征提取器内部，从而获取局部特征；

将提取的局部特征输入到双交互模块中，其中，双交互模块包括自我交互模块和交叉交互模块；

通过计算三元组样本组合的损失从而对整个网络进行优化。

进一步的，所述将三元组样本组合(,)输入到局部特征提取器内部，从而获取局部特征包括：

对应三元组样本组合(,)的输入构建三个互不相交的编码器网络，其中编码器网络使用resnet50用于每个网络的分支并且移除conv4层以及后续层用于获取编码细粒度细节；

对每个编码器提取的局部特征进行范数归一化，用于约束特征空间在超球面上进行稳定训练。

进一步的，所述自我交互模块，用于计算同一个照片或草图的局部特征之间的相似性来消除背景特征。

进一步的，通过对获取的局部特征进行展平；

其中表示归一化的局部特征，展平后局部特征；

最后与局部特征展平后的转置矩阵内积分别计算局部特征相似性矩阵，，其中。

进一步的，所述交叉交互模块，用于计算所有局部特征之间的距离，即计算草图的局部特征与三元组其他样本的局部特征内积，其中，的行向量表示草图的一个局部特征与真实图像的所有局部特征之间的距离；

行向量的最小值设置为局部距离，其中局部距离表示对齐的局部特征之间的距离，；