[发明专利]基于中级文本语义增强空间的模态独立检索方法和系统

说明书

本发明公开了一种基于中级文本语义增强空间的模态独立检索方法和系统，所述方法包括：获取成对的文本和图像底层特征，构建训练数据集和测试数据集；根据线性判别分析建立中级文本语义增强空间；计算图像文本对的相似度矩阵；根据所述中级文本语义增强空间和相似度矩阵分别构建图像检索文本和文本检索图像的投影矩阵模型；采用训练数据集分别求解图像检索文本和文本检索图像的投影矩阵模型中的投影矩阵参数；基于图像检索文本/文本检索图像的投影矩阵参数，采用测试数据集执行图像检索文本/文本检索图像。所述方法为图像检索文本和文本检索图像的检索任务分别学习映射矩阵，检索更有针对性，大大提高了检索的准确率。

技术领域

本公开属于跨媒体检索技术领域，尤其涉及一种基于中级文本语义增强空间的模态独立检索方法和系统。

背景技术

随着社会的发展和网络的普及，网络上的多媒体数据，图片、视频、音频等呈现出指数级的增长，许多不同类型的多媒体数据会表达同一种语义，用户需要从这些海量的数据中检索到自己需要的信息。当前机器学习和模式识别理论的飞速发展，硬件的更新换代使得计算速度得到极大的提升，如何实现跨媒体数据的检索已成为亟需解决的问题。

跨媒体检索是指提交任何类型的媒体类型的数据，获得不同媒体类型的相同语义的结果。目前的检索方式还主要局限在单一媒体检索，基于关键字的搜索源于文本检索，用户提供关键字，数据库通过关键词关联媒体数据，查询系统再根据关键字查找相关数据并返回信息，如当前主流的搜索引擎百度、搜狗、谷歌等采用的技术都是基于关键字搜索。基于内容的图像检索，一般需要提取图像的特征来描述一幅图像，然后查询系统通过特征来查找特征类似的图像数据。而当前的网络上尤其是社交媒体上充满了大量没有关键字的多媒体数据，类似上述的搜索方法对没有关键字或者跨越多媒体的检索无法有效的查询。

由于不同类型的多媒体数据在原始特征的维度和属性的不同会导致跨媒体数据之间存在异构性问题，同一类型但语义不同的多媒体数据会存在原始特征与其高层语义不一致的问题，即“跨媒体异构鸿沟”和“语义鸿沟”。为解决上述问题，在处理图像和文本的检索任务中，很多研究采用子空间学习方法，典型相关性分析(CCA和CFA)通过保持多媒体数据相关性的前提下，将多媒体数据投影到同一维度的子空间中，进而计算跨媒体相似性，以解决“跨媒体异构鸿沟”问题。

然而，由于图像中往往包含大量杂乱的信息，在图像特征的提取过程中会存在大量的语义鸿沟，所以文本模态的特征往往比图像特征具有更强的判别性，传统的子空间方法并没有有效地利用文本特征的强判别性来改善检索结果。同时，大多数方法对于不同的检索任务仅仅学习一对映射矩阵，这种映射机制在单一检索任务中并不能达到最高的性能。

发明内容

为克服上述现有技术的不足，本公开提供了一种基于中级文本语义增强空间的模态独立检索方法和系统，所述方法为图像检索文本和文本检索图像的检索任务分别学习映射矩阵，检索更有针对性，大大提高了检索的准确率。

为实现上述目的，本公开的一个或多个实施例采用如下技术方案：

一种基于中级文本语义增强空间的模态独立检索方法，包括以下步骤：

获取成对的文本和图像底层特征，构建训练数据集和测试数据集；

根据线性判别分析建立中级文本语义增强空间；计算图像文本对的相似度矩阵；

根据所述中级文本语义增强空间和相似度矩阵分别构建图像检索文本和文本检索图像的投影矩阵模型；

采用训练数据集分别求解图像检索文本和文本检索图像的投影矩阵模型中的投影矩阵参数；

基于图像检索文本/文本检索图像的投影矩阵参数，采用测试数据集执行图像检索文本/文本检索图像。

进一步地，所述中级文本语义空间的建立方法包括：