[发明专利]一种基于局部敏感哈希算法和神经网络的跨媒体检索方法

摘要

本发明公开了一种基于局部敏感哈希算法与神经网络的跨媒体检索方法，其涉及跨媒体检索技术领域，该方法包括局部敏感哈希和哈希函数学习两个阶段，在局部敏感哈希阶段，通过局部敏感哈希算法将图像数据映射到m个哈希表G＝[g₁,g₂,...,g_m]∈R^k×m的哈希桶内，其中G为m个哈希表的集合，g_j表示第j个哈希表，k是哈希桶对应哈希码的长度；在哈希函数学习阶段，通过神经网络算法学习将文本数据分别映射到m个哈希表内其对应的哈希桶内的哈希函数Ht＝(Ht⁽¹⁾,Ht⁽²⁾,...,Ht^(m))，Ht^(j),(1≤j≤m)表示学习到的对应于第j个哈希表的哈希函数Ht。在得到了这两个阶段的函数之后，进一步对所有图像与文档进行编码建立索引，从而进行更加精确的检索。

主权项

1.一种基于局部敏感哈希算法与神经网络的跨媒体检索方法，其特征在于，所述跨媒体检索方法包括以下步骤：1)建立FCMR(Fast Cross‑Media Retrieval，FCMR)模型，所述FCMR模型的训练过程包括局部敏感哈希阶段和哈希函数学习阶段；所述局部敏感哈希阶段包括采用局部敏感哈希算法将图像数据映射到哈希桶，具体包括通过局部敏感哈希算法将图像数据映射到m个哈希表G＝[g₁,g₂,...,g_m]∈R^k×m的哈希桶内，其中R表示实数域，G为m个哈希表的集合，g_j表示第j个哈希表，k是哈希桶对应哈希码的长度；所述哈希函数学习阶段包括采用神经网络算法学习将文本数据映射到哈希桶的哈希函数Ht，具体包括通过神经网络算法学习将文本数据分别映射到m个哈希表内其对应的哈希桶内的哈希函数Ht＝(Ht⁽¹⁾,Ht⁽²⁾,...,Ht^(m))，Ht^(j),(1≤j≤m)表示学习到的对应于第j个哈希表的哈希函数；所述局部敏感哈希函数定义如下：其中，超平面向量符合multi Gaussian N(0,1)分布；定义一系列哈希函数h₁,h₂,...,h_n，随机选取其中的k个函数组成函数g(x)，设选的是h₁到h_k，则g(x)＝(h₁(x),h₂(x),...,h_k(x))，选取m个g(x)函数：g₁(x),g₂(x),...,g_m(x)，则每个g(x)函数对应一个哈希表；通过m个g(x)函数将图像空间中的每一个图像样本p_i分别映射到m个哈希表中，这样每个图像样本p_i都会在m个哈希表的某个哈希桶中出现；那么p_i在第j个哈希表里对应的哈希桶可以表示为：g_j(p_i)＝<h₁(p_i),h₂(p_i)...,h_k(p_i)>,(0＜j≤m,0＜i≤n)   (2)其中，所述FCMR模型中使用到的m个神经网络NN^(j),(j∈1,2,...,m)具有相同的结构；每一个神经网络NN^(j)有L层，其中输入层有dt个神经元对应于文本特征的维度，输出层有k个神经元对应于哈希码的k位，除输入层和输出层外剩余的L‑2层用于学习哈希函数；将每一个t_i∈T作为NN^(j)的输入，可以得到神经网络各个层的输出第l+1层以为输入，输出其中和分别为第l层和l+1层的特征表达；W^(l+1)是转换矩阵；f^(l+1)是激活函数；神经网络学习到的哈希函数Ht^(j)以t_i为输入并输出长度为k的哈希码：其中，是一个k维实值向量，使用符号函数将转化为哈希码；基于最小方差定义损失函数为：其中，是未加符号函数神经网络对t_i的预测值，Y_i^(j)表示p_i对应于第j(0＜j≤m)个哈希表中的哈希桶的哈希码；从局部敏感哈希阶段得到训练神经网络所需的训练样本(t_i,Y_i^(j))，(i∈1,2,...,nt,j∈1,2,...,m)，通过训练神经网络NN^(j)可以使其学习到将t_i映射到Y_i^(j)的哈希函数；2)利用局部敏感哈希函数与神经网络学习到的哈希函数将所有文本数据与图像数据映射到汉明空间建立索引；3)进行跨媒体检索查询，包括文本查询和图像查询。