[发明专利]一种深度跨模态哈希检索方法及装置

权利要求书

1.一种深度跨模态哈希检索方法，其特征在于，包括：

获取通过多个训练样本以及相似度矩阵预先生成的，包含注意力机制的哈希检索模型，其中，所述训练样本包括多种模态，所述相似度矩阵根据不同的所述训练样本所包含的标签确定；

通过所述哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码；

在接收包含有待检索目标的检索请求时，通过所述哈希检索模型输出所述待检索目标的哈希码；

根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果。

2.根据权利要求1所述的方法，其特征在于，所述相似度矩阵的生成方法包括：

在所述多个训练样本中，确定不同模态的第一样本和第二样本；

确定所述第一样本和所述第二样本所拥有的标签的总数量，以及所述第一样本和所述第二样本所拥有的相同标签的数量；

根据所述相同标签的数量，以及所述总数量，确定所述第一样本与所述第二样本之间的相似程度，其中，所述相似程度至少包括完全不同、完全相同、部分相同；

根据所述相似程度，生成相似度矩阵。

3.根据权利要求2所述的方法，其特征在于，设所述第一样本为i，所述第二样本为j；

则其中，S_ij为所述第一样本与所述第二样本之间的相似程度，且0≤S_ij≤1，当S_ij＝0时，所述相似程度为完全不同，当S_ij＝1时，所述相似程度为完全相同，当0＜S_ij＜1时，所述相似程度为部分相同；|C_i|和|C_j|分别为所述第一样本i和所述第二样本j所拥有的标签的数量，D(i，j)为所述第一样本i和所述第二样本j所拥有的相同标签的数量。

4.根据权利要求1所述的方法，其特征在于，训练生成所述哈希检索模型时，所述方法还包括：

通过不包含全连接层、且包含平均池化层的卷积神经网络提取模态为图片的训练样本的第一图像特征，并通过词袋提取模态为文本的训练样本的第一文本特征，其中，所述卷积神经网络的输出维度为训练样本集的标签的类别数。

5.根据权利要求4所述的方法，其特征在于，训练生成所述哈希检索模型时，所述方法还包括：

通过所述卷积神经网络对图片进行分类，并将最后一层的卷积层作为注意力图；

将所述注意力图中激活值最高的区域作为注意力区域。

6.根据权利要求5所述的方法，其特征在于，训练生成所述哈希检索模型时，所述方法还包括：

根据所述第一图像特征与所述注意力图得到中间结果，并将所述中间结果输入全连接层后得到第二图像特征；将所述第一文本特征输入全连接层后得到第二文本特征；

通过损失函数以及所述注意力区域训练生成包含注意力机制的哈希检索模型，其中，所述损失函数与所述第二图像特征、所述第二文本特征相关。

7.根据权利要求6所述的方法，其特征在于，设所述损失函数为L，则Fi为第二图像特征，Fj为第二文本特征，L2为量化损失，L₃为平衡损失。

8.根据权利要求1所述的方法，其特征在于，根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果，包括：

在存储的包含与所述检索目标不同模态的多个所述检索信息中，按照所述检索信息的哈希码与所述检索目标的哈希码之间的接近程度，从高到低的选取若干个检索信息作为检索结果。

9.根据权利要求8所述的方法，其特征在于，所述接近程度通过海明距离确定。

10.一种深度跨模态哈希检索装置，其特征在于，包括：

获取模块，获取通过多个训练样本以及相似度矩阵预先生成的，包含注意力机制的哈希检索模型，其中，所述训练样本包括多种模态，所述相似度矩阵根据不同的所述训练样本所包含的标签确定；

生成模块，通过所述哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码；

输出模块，在接收包含有待检索目标的检索请求时，通过所述哈希检索模型输出所述待检索目标的哈希码；

处理模块，根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果。