[发明专利]一种基于局部敏感哈希算法和神经网络的跨媒体检索方法

说明书

本发明公开了一种基于局部敏感哈希算法与神经网络的跨媒体检索方法，其涉及跨媒体检索技术领域，该方法包括局部敏感哈希和哈希函数学习两个阶段，在局部敏感哈希阶段，通过局部敏感哈希算法将图像数据映射到m个哈希表G＝[g₁,g₂,...,g_m]∈R^k×m的哈希桶内，其中G为m个哈希表的集合，g_j表示第j个哈希表，k是哈希桶对应哈希码的长度；在哈希函数学习阶段，通过神经网络算法学习将文本数据分别映射到m个哈希表内其对应的哈希桶内的哈希函数Ht＝(Ht⁽¹⁾,Ht⁽²⁾,...,Ht^(m))，Ht^(j),(1≤j≤m)表示学习到的对应于第j个哈希表的哈希函数Ht。在得到了这两个阶段的函数之后，进一步对所有图像与文档进行编码建立索引，从而进行更加精确的检索。

技术领域

本发明涉及跨媒体检索技术领域，特指一种基于局部敏感哈希算法和神经网络的跨媒体检索方法。

背景技术

在跨媒体大数据时代，无时无刻不在产生的海量多模态信息带来了巨大的跨媒体检索需求，如用文本来搜索图像或视频，反之亦然。例如，维基百科上的一个词条通常包含文本描述和示例图像，这些信息的检索需要构建跨媒体索引与学习方法。与传统的单一媒体检索相比，跨媒体检索的核心问题是如何挖掘不同媒体表示的相同或相关语义对象之间的关联。

目前在世界范围内，针对该跨媒体检索的核心问题提出了众多的解决方法。已有的跨媒体检索方法主要分为两类，一类是基于主题的方法：文献[1]通过主题比例分析对不同模态的数据之间的相关性进行建模；文献[2]通过CORR-LDA挖掘图像与文本标注之间在主题层次的关系；文献[3]将马尔可夫随机域与传统LDA方法结合，提出了用简短的文字检索图像的有向和无向概率图的组合模型(MDRF)；文献[4]提出一种用以利用多个媒体类型的微博信息来进行获得社会事件的可视化总结的多媒体社会事件自动摘要框架。另一类是基于子空间的方法：这一类的方法的核心是寻求使不同模态数据相关性最大化的子空间[5]。Sharma等人提出了一种通用的多模态特征提取框架技术，称为广义的多视角分析GMA[6]。文献[7]提出的T-V CCA模型中引入语义的观点，以提高子空间中不同类别的多模态数据分类准确率。文献[8]提出了一种Bi-CMSRM方法，从优化双向列表排序问题的角度构建了适用于跨媒体检索的计算模型。

[1]Blei D M,Ng A Y,Jordan M I.Latent dirichlet allocation[J].theJournal of machine Learning research,2003,3:993-1022.

[2]Blei D M,Jordan M I.Modeling annotated data[C]//Proceedings of the26th annual international ACM SIGIR conference on Research and developme ntin

information retrieval.ACM,2003:127-134.

[3]Jia Y,Salzmann M,Darrell T.Learning cross modality similarity formultinomial data[C]//Computer Vision(ICCV),2011IEEE International Conferenceon.

IEEE,2011:2407-2414.

[4]Bian J,Yang Y,Zhang H,et al.Multimedia Summarization for SocialEvents in Microblog Stream[J].IEEE Transactions on Multimedia,2015,17(2):216-228.