[发明专利]一种深度跨模态哈希检索方法、设备及介质

权利要求书

1.一种深度跨模态哈希检索方法，其特征在于，包括：

获取通过多个训练样本以及长短期记忆人工神经网络LSTM预先生成的哈希检索模型，其中，所述训练样本包括多种模态；

通过所述哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码；

在接收包含有待检索目标的检索请求时，通过所述哈希检索模型输出所述待检索目标的哈希码；

根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果。

2.根据权利要求1所述的方法，其特征在于，训练生成所述哈希检索模型时，所述方法还包括：

在所述多个训练样本中，确定不同模态的第一样本和第二样本；

基于所述第一样本与所述第二样本分别拥有的标签，生成相似度矩阵；

通过所述相似度矩阵训练生成所述哈希检索模型。

3.根据权利要求1所述的方法，其特征在于，训练生成所述哈希检索模型时，所述方法还包括：

通过不包含全连接层的卷积神经网络提取模态为图片的训练样本的第一图像特征；和/或

获取模态为文本的训练样本的文本向量，通过所述文本向量以及词嵌入提取模态为文本的训练样本的第一文本特征。

4.根据权利要求3所述的方法，其特征在于，训练生成所述哈希检索模型时，所述方法还包括：

将所述第一图像特征和/或所述第一文本特征输入至所述LSTM，得到第二图像特征和/或第二文本特征；

通过所述第二图像特征和/或所述第二文本特征生成，模态为图像和/或文本的所述训练样本对应的哈希码。

5.根据权利要求4所述的方法，其特征在于，训练生成所述哈希检索模型时，所述方法还包括：

通过损失函数对所述哈希检索模型进行优化，其中，设所述损失函数为L，则Fi为第二图像特征，Fj为第二文本特征，L2为量化损失，L₃为平衡损失。

6.根据权利要求1所述的方法，其特征在于，根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果，包括：

在存储的包含与所述检索目标不同模态的多个所述检索信息中，按照所述检索信息的哈希码与所述检索目标的哈希码之间的接近程度，从高到低的选取若干个检索信息作为检索结果。

7.根据权利要求6所述的方法，其特征在于，所述接近程度通过海明距离确定。

8.根据权利要求1所述的方法，其特征在于，所述训练样本包括模态为文本的语句。

9.一种深度跨模态哈希检索设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取通过多个训练样本以及长短期记忆人工神经网络LSTM预先生成的哈希检索模型，其中，所述训练样本包括多种模态；

通过所述哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码；

在接收包含有待检索目标的检索请求时，通过所述哈希检索模型输出所述待检索目标的哈希码；

根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果。

10.一种深度跨模态哈希检索的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

获取通过多个训练样本以及长短期记忆人工神经网络LSTM预先生成的哈希检索模型，其中，所述训练样本包括多种模态；

通过所述哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码；

在接收包含有待检索目标的检索请求时，通过所述哈希检索模型输出所述待检索目标的哈希码；

根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果。