[发明专利]自适应标签感知的图卷积网络跨模态检索方法、系统

说明书

本发明属于检索领域，具体涉及一种自适应标签感知的图卷积网络跨模态检索方法、系统，旨在为了解决解决现有跨模态检索方法中因忽略标签的底层语义结构带来的检索精准度不高的问题。本发明方法包括：基于第一子网络，获取输入信息的跨模态表示；基于分类器，获得所述输入信息的预测分类；其中，所述第一子网络，配置为对输入信息进行特征提取，并通过模态转换函数，映射到统一空间中，得到输入信息的跨模态表示；所述分类器，通过第二子网络生成；所述第二子网络，配置为基于标签与标签关系构造的图，获取该图的特征矩阵，并基于自适应关联矩阵，通过图卷积网络生成分类器。本发明可以更好地保留底层语义结构，缩小模态鸿沟，提高了跨模态检索的准确度。

技术领域

本发明属于检索领域，具体涉及一种自适应标签感知的图卷积网络跨模态检索方法、系统。

背景技术

随着互联网和多媒体的快速发展，文本、图像、视频、音频等多模态数据爆炸式增长，成为知识获取和信息传播的主要形式。单模态检索是用一种模态的数据(如文本)作为查询条件，检索出相同模态(还是文本)的语义相似数据。跨模态搜索是使用一种模态的数据(如文本)作为查询条件，检索出其他模态(如图像)的语义相似数据。跨模态检索具有广泛的应用前景，如多媒体数据管理和智能搜索引擎。

不同模态的数据具有异质性，弥补模态差异的常用方法是表示学习，它将来自不同模态的数据投影到一个共同的特征表示子空间中。跨模态检索的技术方法分为两类：(1)实值表示学习(2)二值表示学习。实值表示学习是将不同模态的数据用一种通用的实数表示方法来表示，通过距离度量(如余弦距离、欧氏距离等)进行相关度排序的方法。二值表示学习是将不同模态的数据投影到一个公共的汉明空间，得到二值哈希码表示，通过度量汉明距离进行相关度排序的方法。这两类方法中有线性的方法也有非线性的方法。深度神经网络是自动学习特征表示的新兴技术，基于深度神经网络的跨模态检索已经成为挖掘非线性关系的活跃研究课题，并取得了很大的性能改进，所以基于深度学习的跨模态检索方法越来越受欢迎。

跨模态检索的核心是如何将不同模态的数据投影到一个可以直接测量不同类型数据之间内容相似度的公共表示空间中。然而，现有的方法通常将每个标签视为独立的个体，而忽略了标签的底层语义结构。近年来，图卷积神经网络(Graph ConvolutionalNetworks,GCN)因其对由元素构成的数据及其依赖关系的出色建模能力而受到越来越多的关注，并在多标签分类任务中取得了优异的表现。受其激发，我们利用GCNs在挖掘关系方面的优势，并根据标签之间的语义相关性来学习分类器。我们通过在公共表示空间中设计实例表示学习分支和标签表示学习分支，提出了一种端到端的自适应标签感知图卷积网络(ALGCN)，该网络可以获得跨模态检索的模态不变和可区分表示。

发明内容

为了解决现有技术中的上述问题，即为了解决现有跨模态检索方法中因忽略标签的底层语义结构带来的检索精准度不高的问题，本发明第一方面，提出了一种自适应标签感知的图卷积网络跨模态检索方法，包括以下步骤：

步骤S100，基于第一子网络，获取输入信息的跨模态表示；

步骤S200，基于分类器，获得所述输入信息的预测分类；

其中，

所述第一子网络，配置为对输入信息进行特征提取，并通过模态转换函数，映射到统一空间中，得到输入信息的跨模态表示；

所述分类器，通过第二子网络生成；所述第二子网络，配置为基于标签与标签关系构造的图，获取该图的特征矩阵，并基于自适应关联矩阵，通过图卷积网络生成分类器。

在一些优选实施例中，所述第一子网络、所述分类器通过联合训练的方式进行优化获得，其训练网络包括第一子网络、第二子网络；

基于第一子网络获取训练输入样本的跨模态表示，基于第二子网络生成的分类器获取预测结果，并基于预设损失函数进行训练，获得训练后的第一子网络、分类器。