[发明专利]一种基于跨媒体统一表征模型的跨媒体检索方法

说明书

本发明针对跨媒体检索问题，提出了一种基于跨媒体统一表征模型的跨媒体检索方法，包括以下步骤：(1)跨媒体数据库构建，建立面向政务新闻领域大跨媒体数据库；(2)跨媒体数据预处理，文本、图像、视频和音频等数据的输入预处理；(3)跨媒体数据原域特征提取，跨媒体数据的原域特征向量提取；(4)跨媒体数据统一表征，跨媒体数据在共同表示空间的特征向量提取；(5)数据检索语义相似度计算与排序，检索目标数据与跨媒体数据库中数据语义相似度计算，并排序输出结果。本发明不仅提出了一种支持四种媒体数据的相互检索方法，同时提出多种媒体数据的统一表征模型，提高了跨媒体语义检索精度，具有关阔的应用前景。

技术领域

本发明涉及一种基于跨媒体统一表征模型的跨媒体检索方法，属于自然语言处理、计算机视觉与跨媒体数据检索等技术领域，包括对多媒体数据原域特征提取、跨媒体数据统一表征模型、跨媒体数据库构建、跨媒体数据相似度计算与排序等。

背景技术

伴随着大数据时代的发展，各行各业的数据呈现爆炸式的增长，以5G、物联网为代表的智能应用时刻产生着大量的多媒体数据，包括文本、图像、视频、音频等海量非结构化数据。如何更好的组织和检索查询跨媒体数据成为信息检索领域巨大挑战和研究热点，例如通过文本检索图像、视频和音频；通过视频检索文本、音频等。

对文本、图像、视频和音频等多媒体信息集来说，绝大多数检索系统仍采取文本关键词搜索技术，例如Google的图像和视频检索功能仍是基于文本关键词(keyword)的，基本流程为首先从非结构化数据中提取关键词标签，这些关键词标签可能是图片周围的文本、文件名、数据主题标签、目标检测标签等，也有少量的来自于互联网的人工标注。由于多媒体信息制作者的文化背景不同、专业知识迥异，这些与图片关联的文本信息往往是极不可靠的，我们都能够体会到。对于图像和视频等多媒体信息，一般难以用自然语言进行有效的、精确的描述，无法表达其实质内容和语义关系，所以这种依据文本信息检索图片和视频的解决方案很难满足人们的查询需要，搜索精度很低。

针对跨媒体数据检索问题，基于机器学习、深度学习的语义嵌入方法成为研究重点，VSE++模型通过难例挖掘方法学习到视觉语义嵌入表示，提高了跨媒体检索精度；ACMR和CM-GANs模型通过对抗生成思路进行模型训练，并在Wikipedia和NUSWIDE数据集取得了较好的性能。现有大部分取得较好效果的跨媒体检索方法多采用深度神经网络模型，模型通常可解释性差，同时基于生成对抗思路的模型将数据到共同表示空间的变换假设成为线性可逆变换，从而增加逆变换约束条件，然而这与神经网络的非线性变换性质相矛盾。

发明内容

为解决上述技术问题，本发明提供了一种基于跨媒体统一表征模型的跨媒体检索方法，该基于跨媒体统一表征模型的跨媒体检索方法支持四种媒体数据检索的统一表征模型，并用于跨媒体数据检索，提高检索精度。

本发明通过以下技术方案得以实现。

本发明提供的一种基于跨媒体统一表征模型的跨媒体检索方法，包括以下步骤：

①跨媒体数据库构建：建立面向政务新闻领域的跨媒体数据库；

②跨媒体数据预处理：对跨媒体数据库的输入进行预处理，获取跨媒体数据；

③跨媒体数据原域特征提取：提取跨媒体数据的原域特征向量；

④跨媒体数据统一表征：采用深度神经网络模型，生成对抗思路训练支持四种媒体数据输入的跨媒体统一表征模型，并提取跨媒体统一表征模型输出的公共空间特征向量；

⑤数据检索语义相似度计算与排序：将跨媒体统一表征模型输出的公共空间特征向量与跨媒体数据的原域特征向量计算余弦相似度，并以相似度进行排序，输出相似度最大的前K个数据作为检索结果输出。

所述步骤①中，政务新闻领域包括政务新闻、政治人物、政治事件；所述跨媒体数据库中存有文本、图像、视频、音频四种类型的非结构化数据。