[发明专利]一种基于协同注意力的草图图像检索方法

权利要求书

1.一种基于协同注意力的草图图像检索方法，其特征在于，所述方法包括以下步骤：

构建由自然图像分支、边缘图分支和草图分支构成的三分支网络，并进行预训练；

构建三分支网络的注意力模块，自然图像分支和边缘图分支的注意力模块权重异构，边缘图分支的注意力模块和草图分支的注意力模块共享权重；

学习两个不同数据域上的公共注意力掩膜捕获两个域之间的公共通道级依赖关系，聚焦学习来自两个不同域的公共信息特征，缩小查询数据域和检索数据域的差距；

通过跨域公共注意力掩膜分别对自然图像和边缘图分支最后一个池化层输出特征图进行通道相应加权，最终输出对特征通道重要程度进行重校准后的自然图像特征图和边缘特征图；

对三分支网络进行联合训练，获得草图和自然图像的跨域表示。

2.根据权利要求1所述的一种基于协同注意力的草图图像检索方法，其特征在于，所述学习两个不同数据域上的公共注意力掩膜捕获两个域之间的公共通道级依赖关系具体为：

通过对应相乘自然图像注意力掩膜M_I和边缘图注意力掩膜M_E，得到跨域公共注意力掩膜M_CO∈R^1×1×c，其中表示元素乘法。

3.根据权利要求1所述的一种基于协同注意力的草图图像检索方法，其特征在于，所述自然图像特征图和边缘特征图分别为：

其中，f_scale(·)表示跨域公共注意力掩膜和输入特征映射之间的按通道方式的乘法，为自然图像分支注意力模块输入特征图，为边缘图分支注意力模块输入特征图。