[发明专利]一种面向文本和图像的跨媒体检索方法及电子装置

摘要

本发明提供一种面向文本和图像的跨媒体检索方法及电子装置，提取一设定长度语音信息的g维MFCC特征，并将长度为m的g维MFCC特征转换为一维语音特征；对一设定文本进行编码，获取词级别文本表示，并将词级别文本表示中每一个词与一维语音特征进行拼接，得到语音引导文本特征；提取每一图片的区域特征，计算区域特征与语音引导文本特征的相似性分数，判断该图片是否包含设定语音信息及设定文本信息，得到检索结果。本发明利用语音信息的停顿信息，以及语音信息与图像和文本间的关联关系来提升图像‑文本匹配任务的性能，建模了融合语音信息的文本特征表示，引入基于局部注意力机制的细粒度特征融合方式进行跨模态特征融合，提升图文匹配效果。