[发明专利]一种基于图卷积神经网络的多模态分类方法

说明书

本发明公开了一种基于图卷积神经网络的多模态分类方法，包括以下步骤：（一）首先需要用户准备好一个对象库，其中每个对象包含个模态，通过人工标注的方法为库中的少量对象提供一个类别标记，这些有类别标记的对象称为初始的有标记训练数据，它们和剩余的大量未标记对象一同构成训练数据集；本发明通过创新的多模态图卷积神经网络综合考虑了不同模态的图结构信息，在多模态图卷积神经网络的每一层中通过分配可训练的权值，使得每个模态所学的表示能够逐步考虑其它模态的结构信息。

技术领域

本发明属于计算机科学与技术中人工智能领域技术领域，具体涉及一种基于图卷积神经网络的多模态分类方法。

背景技术

近年来，实际应用中出现着越来越多的多模态数据，例如，互联网中的多媒体数据往往包含多个模态信息：视频、图像以及周围出现的文本信息；网页数据也包含多个模态信息：网页自身的文本信息和链接到网页的超链接信息。这些多模态数据蕴含着巨大的经济价值，同时利用这些多模态数据往往能够获得比单模态数据更好的结果。例如，在基于信息流的用户内容推荐中，可以同时考虑信息流中的不同模态信息(例如图片、文本)来为用户推荐其感兴趣的内容。在实际应用中，我们很容易从不同模态中发现数据的多重结构信息，例如用户对特定的某一类相似的图片都表现出兴趣，而同时这些用户对另外一类相似的文本表现出兴趣，利用这些基于多模态的结构信息，能够进一步地提升性能。另一方面，图卷积神经网络能够将图结构信息嵌入到神经网络中，且适合处理大规模数据，但并不能被直接应用到多模态场景中，实际应用中的对象经常具有多模态信息，但是传统的多模态方法只是在多个模态上分别训练学习器然后将其集成,这样的方式容易忽略不同模态中有用的结构信息为此我们提出一种基于图卷积神经网络的多模态分类方法。

发明内容

本发明的目的在于提供一种基于图卷积神经网络的多模态分类方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于图卷积神经网络的多模态分类方法，包括以下步骤：

(一)首先需要用户准备好一个对象库，其中每个对象包含V个模态。接下来通过人工标注的方法为库中的少量对象提供一个类别标记，这些有类别标记的对象称为初始的有标记训练数据，它们和剩余的大量未标记对象一同构成训练数据集。

(二)通过特征提取算法，将训练对象库中的对象转化成相应的特征表示，即提取对象库中对象的特征，将所有对象转化成相应的特征向量。由于对象包含V个模态，最终得到的每个对象的特征向量也分为V个部分。

(三)对象的特征提取方法也有很多种，例如对于网页中的一段文本，文本中的每个词出现的次数都可以作为该对象的一个特征，文本的长度也可以作为该网页的一个特征。假设两个模态上特征的个数分别为d₁和d₂，那么每个对象就可以对应到d₁和d₂维欧式空间的两个特征向量。

(四)将训练数据集和选定的基分类器类型输入到本发明提出的多模态图卷积神经网络训练算法中，经过训练后就可以得到最终的分类器。

(五)在预测阶段，用户根据待测对象在V个模态上的特征向量分别添加k条最近邻边指向对象库，再讲得到的新图与得到特征向量分别输入给训练得到的V个分类器，分类器就会给用户返回该对象的预测结果，然后在V个预测结果中选择置信度较高的那个作为最终标记输出。

与现有技术相比，本发明的有益效果是：本发明通过创新的多模态图卷积神经网络综合考虑了不同模态的图结构信息，在多模态图卷积神经网络的每一层中通过分配可训练的权值，使得每个模态所学的表示能够逐步考虑其它模态的结构信息。此外，本发明虽然需要建图，但是可以被用于归纳式的学习场景，在训练时无需得到待测样本。

附图说明

图1是本发明的流程图；

图2是本发明中多模态图卷积神经网络训练算法的流程图；