[发明专利]基于零样本学习的跨模态哈希检索方法及系统

权利要求书

1.一种基于零样本学习的跨模态哈希检索方法，其特征在于：

包括以下过程：

获取用户上传的文本数据和图片数据；

从获取的文本数据和图片数据中，提取数据的深度特征；

将提取的深度特征量化为哈希码，与数据库中的数据进行比较，得出汉明距离排序，选择用户指定数量的数据作为检索结果。

2.如权利要求1所述的基于零样本学习的跨模态哈希检索方法，其特征在于：

所述文本数据为：用户在搜索框中输入的文本内容，输入内容使用空格进行分隔，输入到训练后的文本特征提取网络，最终表示为多维的特征向量。

3.如权利要求2所述的基于零样本学习的跨模态哈希检索方法，其特征在于：

训练后的文本特征提取网络，训练过程包括：

构建多输出维度的词嵌入网络；其中，词嵌入网络是通过word2vec网络来实现；

构建第一训练集；所述第一训练集为wiki语料库；

将第一训练集，输入到词嵌入网络中，通过训练集的输出结果来计算负对数似然函数，并通过该函数对词嵌入网络的参数进行优化。

4.如权利要求1所述的基于零样本学习的跨模态哈希检索方法，其特征在于：

所述图片数据为：用户通过网页上传的图片文件，文件上传后将尺寸统一为预设大小。

5.如权利要求1所述的基于零样本学习的跨模态哈希检索方法，其特征在于：

将获取的用户上传的图片数据和文本数据，输入到训练后图片和文本网络，得到图片数据和文本数据的深度特征，包括：

获取样本图片和文本两个模态的数据以及样本对应的标签数据，对数据进行预处理操作，将样本数据转化为易于读取且便于卷积神经网络进行计算的数据；

定义图片和文本两个模态内部和模态间的相似度；

在联合相似度的指导下，通过一个统一的目标方程，同时实现深度特征学习、类别空间学习和跨模态哈希编码学习。

6.如权利要求5所述的基于零样本学习的跨模态哈希检索方法，其特征在于：

通过标签补全策略将缺失的标签矩阵进行补全，包括：

计算样本级别的平滑性；

计算标签级别的平滑性；

根据样本级别的平滑性和标签级别的平滑性计算补全后的标签矩阵；

或者，

定义图片和文本两个模态内部和模态间的相似度，包括：

定义模态内部数据之间的特征相似度，该相似度作为最终复合相似度的一部分；

定义数据之间的标签相似度；

根据样本的特征相似度和标签相似度定义模态内部样本的复合相似度，对于两个有标签的数据，标签语义相似度可以作为特征相似度的补充，否则复合相似度与特征相似度相同；

根据特征相似度、标签相似度和复合相似度计算模态间的复合相似度；

或者，

在联合相似度的指导下，通过一个统一的目标方程，同时实现深度特征学习、类别空间学习和跨模态哈希编码学习，包括：

采用深度神经网络，将原始的图片和文本信息学习出低维的特征向量，同时在这个过程中以复合相似度作为指导信息，以保持低维空间中同样能够保持原始的结构信息；

通过属性向量来指导属性表达空间的学习，以实现零样本跨模态哈希；

通过最小化量化损失来在类别表达空间中学得所需的哈希编码；

将以上过程联合起来进行优化，得到目标函数如下：

其中，α与β为超参数。

7.如权利要求1所述的基于零样本学习的跨模态哈希检索方法，其特征在于：

提取的数据的深度特征量化为哈希码，包括：

设提取的数据的深度特征为x，哈希函数H定义如下：

或者，

与数据库中的数据进行比较，得出汉明距离排序，包括：

设量化后的哈希编码为b，其对应的十进制为x，对于数据库中样本i哈希编码对应的十进制y，两者间的汉明距离定义如下：

bit(x^y)

^代表异或运算，bit(a)代表a对应的二进制数中1的个数，将上述计算的汉明距离按从小到大排序。