[发明专利]一种基于双语义空间的对抗性跨媒体检索方法

说明书

本发明公布了一种基于双语义空间的对抗性跨媒体检索方法，涉及模式识别、自然语言处理、多媒体检索等技术领域；包括：特征生成过程、双语义空间的构建过程和对抗性语义空间优化过程。本发明通过建立同构双语义空间，即文本子空间和图像子空间，实现在最大限度保留原有图像和文本信息的同时消除语义鸿沟；并通过对抗训练来优化同构子空间数据分布，挖掘多媒体数据中丰富的语义信息，在保证类别不变、模态可区分的情况下拟合语义空间中不同模态的向量分布。本发明方法能够有效的消除不同模态信息异构性，实现有效的跨媒体检索，在图文检索、模式识别等领域具有广泛的市场需求和应用前景。

技术领域

本发明涉及模式识别、自然语言处理、多媒体检索等技术领域，尤其涉及一种基于双语义空间的对抗性跨媒体检索方法，主要应用公共空间的特征映射来消除语义鸿沟，将不同模态的数据进行匹配达到检索的目的，并在跨媒体检索经典数据库中验证本方法的有效性。

背景技术

近年来，互联网技术飞速发展，随之而来的是多媒体信息的爆炸式增长，用户更倾向于通过检索获得多媒体信息结果，比如，用户输入关键字“狮子”，期望得到相关文字介绍以及其他模态的相关信息，比如狮子的图像，狮子的吼声以及狮子相关的视频等等。如此看来，传统的检索技术以经不能满足用户对于检索结果多样性、全面性的要求。跨媒体检索由于可以实现不同媒体间的灵活检索得到了广泛关注。其面临的挑战主要是不同模态的异构性和不可比性，以及不同模态所携带信息类型的不平衡性。比如，图片中包含更多的空间位置以及层次信息而文本中则包含着更多的上下文和背景信息。

现有方法大多将异构的特征映射到一个单一的同构空间，以消除“语义鸿沟”，但是，这样的处理同时伴随着大量的信息丢失，不同模态的特有信息不能得以保留，难以有效实现跨媒体检索。

发明内容

本发明提供了一种基于双语义空间的对抗性跨媒体检索方法，通过建立文本子空间和图像子空间，分别保留不同模态内部特征，并通过对抗训练来挖掘多媒体数据中丰富的语义信息，从而实现有效的跨媒体检索。

本发明的技术方案是：

一种基于双语义空间的对抗性跨媒体检索方法，通过建立文本子空间和图像子空间，分别保留不同模态内部特征，并通过对抗训练来挖掘多媒体数据中丰富的语义信息，从而实现有效的跨媒体检索；包括：特征生成过程、双语义空间的构建过程和对抗性语义空间优化过程。

1)特征生成过程；

具体实施时，分别获取NUS-WIDE-10k和Wikipedia两个数据集的训练数据，验证数据及测试数据。并利用深度卷积神经网络CNN(Convolutional Neural Network)对训练及测试图像提取视觉特征向量，利用BoW(Bag of Words)模型对训练和测试文本提取“BoW文本特征向量”；设有n组训练数据，将图像和文本数据分别送入CNN网络和BoW模型，提取到的特征分别表示为图像特征I＝{i₁,i₂,…,i_n}和文本特征T＝{t₁,t₂,…,t_n}；

2)双语义空间的构建过程，包括图像子空间和文本子空间；

本发明构建了双语义空间，即图像子空间和文本子空间。

21)在图像子空间中，分别用三层的全连接网络实现对文本特征的映射以及图像特征在原有维度上的调整，同时引入三元组损失(triplet loss)进行同构空间特征优化，实现在最大限度保留图像信息的同时消除“语义鸿沟”。

具体执行如下操作：

211)在图像子空间中，图像特征I经过三层全连接网络在原有维度(4096维)上调整特征分布，为之后的图文匹配做准备,网络最后一层使用ReLU激活函数。同时引入一个相似的三层全连接网络将文本特征T映射到图像空间当中，尽量多的保留原有图像特征。