[发明专利]基于异构双线性注意力网络的图像检索方法

权利要求书

1.一种基于异构双线性注意力网络的图像检索方法，其特征在于步骤如下：

步骤1：将一张图片经过hour-glass网络后得到一个特征图同时经过Inception-Resnet-v2网络得到另一个特征图

步骤2：对这两个特征图分别作整体平均池化，得到两个向量和

v^a＝GlobalAveragePooling(V^a)， (1)

v^l＝GlobalAveragePooling(V^l). (2)

步骤3：将v^a和v^l拼接成一个向量，然后经过并行的两个多层感知器，从而计算出每个支路的特征图的channel-wise的注意力权重；具体计算公式如下：

这里的都是线性转换矩阵；k^a和k^l是投射维度，为拼接操作所以C＝C^a+C^l，α^a为分配给属性分类支路的channel-wise注意力权重，α^l为分配给关键区域定位支路的channel-wise注意力权重；Sigmoid和Relu为常用的激活函数；

步骤4：得到两个加权的特征图然后把它们重新采样到相同的空间大小W×H；

步骤5：给定步骤4得到的特征图(i，j)位置上的特征向量使用count sketch函数Ψ把x_ij投射到目的向量这里还用到了一个符号向量和一个映射向量s中的每一个值都是从{+1，-1}中以相同的概率随机选择的；P中的每个值则是从{1，...，d}中以均匀分布的概率从中选取；count sketch函数Ψ定义如下：

y_ij＝Ψ(x_ij，s，p)＝[v₁，...，v_d]， (5)

这里的v_t＝∑_ls[l]·x_ij[l]，使得p[l]＝t；把两个向量和的卷积作为countsketch函数的输入，那么这个count sketch函数写成把单独向量作为输入的两个countsketch函数的卷积：

这里⊙表示外积操作，*表示卷积操作；最终通过时域以及频域的转换来得到双线性特征：

其中，为元素集的相乘；

步骤6：在训练时，把最终得到的双线性特征作ID分类训练；在测试时，计算查询图像与数据库中的图像所得到的正则化后的双线性特征，然后计算它们之间的欧式距离，即得到最终的top-k的结果。