[发明专利]一种面向文本和图像的跨媒体检索方法及电子装置

说明书

本发明提供一种面向文本和图像的跨媒体检索方法及电子装置，提取一设定长度语音信息的g维MFCC特征，并将长度为m的g维MFCC特征转换为一维语音特征；对一设定文本进行编码，获取词级别文本表示，并将词级别文本表示中每一个词与一维语音特征进行拼接，得到语音引导文本特征；提取每一图片的区域特征，计算区域特征与语音引导文本特征的相似性分数，判断该图片是否包含设定语音信息及设定文本信息，得到检索结果。本发明利用语音信息的停顿信息，以及语音信息与图像和文本间的关联关系来提升图像‑文本匹配任务的性能，建模了融合语音信息的文本特征表示，引入基于局部注意力机制的细粒度特征融合方式进行跨模态特征融合，提升图文匹配效果。

技术领域

本发明涉及计算机检索技术领域，尤其涉及一种面向文本和图像的跨媒体检索方法及电子装置。

背景技术

跨媒体检索是指用户给定一个媒体的查询信息，可以检索出语义相关的其他媒体的信息。跨媒体检索任务有基于共同语义空间学习的研究方法，其本质在于对齐不同模态数据的分布和特征表示。其中，传统经典的相关分析(Traditional statisticalcorrelation analysis)(HOTELLING H.Relations between two sets of variates[M]//Breakthroughs in statistics.Springer,1992:162-190.)是此类方法的基础。典型相关分析(CCA)(AKAHO S.Akernel method for canonical correlation analysis[J].arXiv:Learning,2006.)是最为经典的方法，正因为在跨媒体检索中，数据常常是成对出现的，CCA将这些成对出现的数据投影到相同的子空间中，使其距离最小化、相似性最大化。因为CCA是最早出现的经典方法，后续有很多方法在其基础上演变而来，例如文献(AKAHOS.Akernel methodfor canonical correlation analysis[J].arXiv:Learning,2006.)、(ANDREW G,ARORA R,BILMES J A,et al.Deep canonical correlation analysis[J].2013:1247-1255.)、(GONG Y,KE Q,ISARD M,et al.Amulti-view embedding space formodeling internet images,tags,and their semantics[J].International Journal ofComputer Vision,2014,106(2):210-233.)及(RANJAN V,RASIWASIA N,JAWAHAR CV.Multi-label cross-modal retrieval[J].2015:4094-4102.)都成为了传统经典的相关分析方法。但这些方法依赖于数据的线性表示，对于当前网络环境下日趋复杂的跨媒体数据形式来说，通过线性投影来模拟不同模态相似性难度很高。