[发明专利]基于零样本学习的跨模态哈希检索方法及系统

说明书

本发明提供了一种基于零样本学习的跨模态哈希检索方法及系统，获取用户上传的文本数据和图片数据；从获取的文本数据和图片数据中，提取数据的深度特征；将提取的深度特征量化为哈希码，与数据库中的数据进行比较，得出汉明距离排序，选择用户指定数量的数据作为检索结果；本发明能够实现新旧类别样本的有效准确检索，克服了现有哈希检索系统的封闭性难题。

技术领域

本发明涉及数据检索技术领域，特别涉及一种基于零样本学习的跨模态哈希检索方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

随着信息技术的发展以及多媒体数据的爆炸性增长，人们可以轻易获取诸如文本、图片、视频等海量的多模态数据。面向互联网的开放环境，如何根据用户的需求从海量的多模态数据中进行快速精确的信息检索至关重要。由于具有低存储和高效查询的优点，哈希学习方法已被广泛地应用在大规模数据的检索中，而跨模态哈希学习在多模态数据信息检索中吸引了越来越多的关注。

跨模态哈希学习的主要目标是将高维的多模态数据以低维的二进制哈希码的形式映射到统一的汉明空间中，同时要求学习到的哈希码要保持原始数据的空间结构相似性，即在原始空间相似的数据在转化为二进制哈希码后也应该相似。

目前的跨模态哈希方法按照是否使用标签数据可以分为两类：有监督跨膜态哈希和无监督跨膜态哈希。无监督跨模态哈希方法不使用样本的标记信息进行训练，通常挖掘模态内与模态间数据的相似性与分布等信息指导哈希码的生成；监督跨模态哈希方法通常利用样本的内在属性(例如标签)以及结构化的信息指导哈希码产生并使哈希码保持跨模态相似度，因此表现一般要优于无监督的方法。

发明人发现，跨模态哈希方法已经取得了显著的进展，但也面临着许多问题，如需要大量标记信息、新类别识别效率低和模态数据匹配缺失等，使得数据的检索效率和准确率均较低。

发明内容

为了解决现有技术的不足，本发明提供了一种基于零样本学习的跨模态哈希检索方法及系统，基于标签补全的策略充分挖掘有标记样本、部分标记样本和无标记样本之间的联系，可以提高在有标签缺失情况下的检索性能；基于复合相似度与深度学习的图片与文本特征提取网络可以捕捉数据的深度特征，从而可以发掘数据之间的跨模态相似性；此外，基于类级别属性向量的类别空间嵌入可以捕捉可见类与不可见类的联系，可以对新类别实现更高效率的识别。

为了实现上述目的，本发明采用如下技术方案：

本发明第一方面提供了一种基于零样本学习的跨模态哈希检索方法。

一种基于零样本学习的跨模态哈希检索方法，包括以下过程：

获取用户上传的文本数据和图片数据；

从获取的文本数据和图片数据中，提取数据的深度特征；

将提取的深度特征量化为哈希码，与数据库中的数据进行比较，得出汉明距离排序，选择用户指定数量的数据作为检索结果。

本发明第二方面提供了一种基于零样本学习的跨模态哈希检索系统。

一种基于零样本学习的跨模态哈希检索系统，包括：

数据获取模块，被配置为：获取用户上传的文本数据和图片数据；

数据特征提取模块，被配置为：从获取的文本数据和图片数据中，提取数据的深度特征；

跨膜态检索模块，被配置为：将提取的深度特征量化为哈希码，与数据库中的数据进行比较，得出汉明距离排序，选择用户指定数量的数据作为检索结果。

本发明第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于零样本学习的跨模态哈希检索方法中的步骤。