[发明专利]基于层次标签的跨模态哈希模型构建方法、搜索方法及装置

说明书

本公开公开了一种基于层次标签的跨模态哈希模型构建方法、搜索方法及装置，接收多模态数据集，进行预处理；将预处理后的样本根据模态的不同将相对的数据输入预训练的多路径神经网络；根据预训练的神经网络和多层感知机分别提取不同模态的特征数据，得到不同模态的层次哈希表示；根据层次标签构建预处理后样本在不同层次上的相似矩阵，根据每层相似矩阵中值训练哈希表示的内积，评测样本之间的语义相似性；采用不同粒度的层次标签，并分析层次比对神经网络性能影响，确定最佳层次比；根据每层哈希表示得到哈希码；训练双路径神经网络，并使用SGD梯度下降法优化训练双路径神经网络，建立基于层次标签的深度跨模态哈希模型，用于跨模态搜索。

技术领域

本公开属于多媒体数据搜索的技术领域，涉及一种基于层次标签的跨模态哈希模型构建方法、搜索方法及装置。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着多媒体设备的蓬勃发展，互联网上多媒体数据量空前增长。数据往往以多种模态存在，如图片、文本和视频等形式。数据的这些模态之间往往存在着语义相关，从不同的角度对同一对象进行表达，使得人们对数据拥有更加清晰完整的认识。在实际生活应用中，如各大电商平台，人们越来越倾向于在不同模态数据之间进行相互检索，根据已知的某种模态的数据，检索出符合要求的目标模态的相似数据。因此有关跨模态检索的研究受到越来越多的关注，许多与此相关的检索方法也应运而生。其中，由于多媒体数据量巨大且不同模态数据源异构，实现这一检索目标面临着各种各样的困难。如检索效率低、数据存储困难等。这也因此催生出一种新的数据存储与检索方式--跨模态哈希。旨在将原始异构的高维多模态数据通过某种方法从原始空间映射到汉明空间，生成一个低维的哈希序列,同时保留原数据之间的语义相关关系，降低存储耗费，提高检索速度。

由于“低存储”和“速度快”，跨模态哈希方法已经受到许多研究者的关注。无论是从准确率上，还是从方法的可扩展性上，一些经典的跨模态哈希算法已经取得了很好的性能，也广泛应用于实际的生活应用中。从无监督哈希算法到有监督哈希算法，研究者试图最大化地利用已有的标签信息去提高跨模态哈希方法的检索性能，尽可能保持跨模态数据在原始空间中的语义相关关系。

然而，发明人在研发过程中发现，现有的技术在标签信息的使用上仍然存在一些不足，未能充分挖掘标签信息内部存在的潜在关联，如标签之间存在层次关系，只是简单地将已有的标签信息独立看待，在标签信息的处理与利用上不够精准，从而未能达到最好的性能。如何挖掘并利用标签信息内部存在的层次关系，并将其应用到算法中，实现有监督数据映射过程，从而提高跨模态哈希算法检索性能是非常具有挑战性的。

发明内容

针对现有技术中存在的不足，本公开的一个或多个实施例提供了一种基于层次标签的跨模态哈希模型构建方法、搜索方法及装置,将深度学习与跨模态哈希相结合，构建端到端的多路径神经网络，挖掘已有标签信息内部的层次关系，用层次标签对神经网络进行监督学习，得到将源数据从原始空间映射到汉明空间的映射函数；本公开克服现有方法忽略标签之间的层次关系，对所有标签信息同等独立对待的弊端，在提高跨模态检索的准确率的同时，最大限度的保持数据原有的语义关系。

根据本公开的一个或多个实施例的一个方面，提供一种基于层次标签的跨模态哈希模型构建方法。

一种基于层次标签的跨模态哈希模型构建方法，该方法包括：

接收多模态数据集，对其中的样本进行预处理过滤干扰数据；

将预处理后的样本根据模态的不同将相对的数据输入预训练的多路径神经网络；

根据预训练的神经网络和多层感知机分别提取不同模态的特征数据，得到不同模态的层次哈希表示；

根据层次标签构建预处理后样本在不同层次上的相似矩阵，根据每层相似矩阵中值训练哈希表示的内积，评测样本之间的语义相似性；