[发明专利]基于异构双线性注意力网络的图像检索方法

摘要

本发明涉及一种基于异构双线性注意力网络的图像检索方法，该网络有两个专门的分支，一个提供关键区域位置信息，而另一个则提供属性级的描述。两个分支的输出结果通过一个基于注意力机制的双线性模块整合成一个图像级的表征。使用两个辅助性的任务来预训练这两个分支以确保这两个分支有能力实现关键区域定位和属性描述。第一个支路采用hour‑glass网络来实现关键区域检测的任务；第二个支路采用Inception‑Resnet‑v2网络来实现属性预测。本发明使用两支路共同驱动的channel‑wise的注意力机制对两支路的输出表征的通道进行加权，然后将加权后的表征使用紧凑型双线性池化的方法整合成最终的图像级的表征。然后通过计算不同图像的表征之间的欧式距离并排序，从而得到最终的检索结果。

主权项

1.一种基于异构双线性注意力网络的图像检索方法，其特征在于步骤如下：/n步骤1：将一张图片经过hour-glass网络后得到一个特征图同时经过Inception-Resnet-v2网络得到另一个特征图/n步骤2：对这两个特征图分别作整体平均池化，得到两个向量和/nv^a＝GlobalAveragePooling(V^a)， (1)/nv^l＝GlobalAveragePooling(V^l). (2)/n步骤3：将v^a和v^l拼接成一个向量，然后经过并行的两个多层感知器，从而计算出每个支路的特征图的channel-wise的注意力权重；具体计算公式如下：/n /n /n这里的都是线性转换矩阵；k^a和k^l是投射维度，为拼接操作所以C＝C^a+C^l，α^a为分配给属性分类支路的channel-wise注意力权重，α^l为分配给关键区域定位支路的channel-wise注意力权重；Sigmoid和Relu为常用的激活函数；/n步骤4：得到两个加权的特征图然后把它们重新采样到相同的空间大小W×H；/n步骤5：如果给定步骤4得到的特征图(i，j)位置上的特征向量使用countsketch函数Ψ把x_ij投射到目的向量这里还用到了一个符号向量和一个映射向量s中的每一个值都是从{+1，-1}中以相同的概率随机选择的；P中的每个值则是从{1，...，d}中以均匀分布的概率从中选取；count sketch函数Ψ定义如下：/ny_ij＝Ψ(x_ij，s，p)＝[v₁，...，v_d]， (5)/n这里的v_t＝∑_ls[l]·x_ij[l]，使得p[l]＝t；如果把两个向量和的卷积作为countsketch函数的输入，那么这个count sketch函数可以写成把单独向量作为输入的两个count sketch函数的卷积：/n /n这里⊙表示外积操作，*表示卷积操作；最终通过时域以及频域的转换来得到双线性特征：/n /n其中，为元素集的相乘；/n步骤6：在训练时，把最终得到的双线性特征作ID分类训练；在测试时，计算查询图像与数据库中的图像所得到的正则化后的双线性特征，然后计算它们之间的欧式距离，即可得到最终的top-k的结果。/n