[发明专利]一种深度跨模态哈希检索方法、设备及介质

说明书

本申请公开了一种深度跨模态哈希检索方法、设备及介质，方法包括：获取通过多个训练样本以及长短期记忆人工神经网络LSTM预先生成的哈希检索模型；通过哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码；在接收包含有待检索目标的检索请求时，通过哈希检索模型输出待检索目标的哈希码；根据检索目标的哈希码，在存储的包含与检索目标不同模态的多个检索信息中，确定检索结果。通过长短期记忆人工神经网络LSTM来训练生成哈希检索模型，使得哈希检索模型在针对具有丰富内容信息时，能够有效考虑内容之间的关联性，提高了生成的哈希码的质量，也提高了最终检索的精确度，提升了用户体验。

技术领域

本申请涉及检索领域，具体涉及一种深度跨模态哈希检索方法、设备及介质。

背景技术

近年来，随着互联网的快速发展，多媒体数据(例如图片、文本、视频、音频等)呈现出爆炸式的增长。跨模态检索技术旨在根据已有的数据检索与之相匹配的不同模态的数据，例如我们可以通过文本信息在数据库中查找符合文字描述的图片信息。并且由于哈希码具有存储代价小，检索速度快等诸多优势，所以哈希方法也被广泛应用在跨模态检索任务中。

人们在进行跨模态检索时，为了使描述更加准确，可能会采用相对更加丰富的内容进行查询。例如，在使用文本进行跨模态检索时，可能会使用一句话或者一段文字作为内容进行描述。但是在现有技术中，哈希检索模型往往会忽略这个问题，将内容割裂开分别进行检索，不去考虑相互之间的关联，这也就降低了使得检索结果的准确性。

发明内容

为了解决上述问题，本申请提出了一种深度跨模态哈希检索方法，包括：获取通过多个训练样本以及长短期记忆人工神经网络LSTM预先生成的哈希检索模型，其中，所述训练样本包括多种模态；通过所述哈希检索模型生成并存储，不同模态的各检索信息对应的哈希码；在接收包含有待检索目标的检索请求时，通过所述哈希检索模型输出所述待检索目标的哈希码；根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果。

在一个示例中，训练生成所述哈希检索模型时，所述方法还包括：在所述多个训练样本中，确定不同模态的第一样本和第二样本；基于所述第一样本与所述第二样本分别拥有的标签，生成相似度矩阵；通过所述相似度矩阵训练生成所述哈希检索模型。

在一个示例中，训练生成所述哈希检索模型时，所述方法还包括：通过不包含全连接层的卷积神经网络提取模态为图片的训练样本的第一图像特征；和/或获取模态为文本的训练样本的文本向量，通过所述文本向量以及词嵌入提取模态为文本的训练样本的第一文本特征。

在一个示例中，训练生成所述哈希检索模型时，所述方法还包括：将所述第一图像特征和/或所述第一文本特征输入至所述LSTM，得到第二图像特征和/或第二文本特征；通过所述第二图像特征和/或所述第二文本特征生成，模态为图像和/或文本的所述训练样本对应的哈希码。

在一个示例中，训练生成所述哈希检索模型时，所述方法还包括：通过损失函数对所述哈希检索模型进行优化，其中，设所述损失函数为L，则Fi为第二图像特征，Fj为第二文本特征，L2为量化损失，L₃为平衡损失。

在一个示例中，根据所述检索目标的哈希码，在存储的包含与所述检索目标不同模态的多个所述检索信息中，确定检索结果，包括：在存储的包含与所述检索目标不同模态的多个所述检索信息中，按照所述检索信息的哈希码与所述检索目标的哈希码之间的接近程度，从高到低的选取若干个检索信息作为检索结果。

在一个示例中，所述接近程度通过海明距离确定。

在一个示例中，所述训练样本包括模态为文本的语句。