[发明专利]一种基于图卷积神经网络的多模态分类方法

权利要求书

1.一种基于图卷积神经网络的多模态分类方法，包括以下步骤：

(一)建立一个对象库作为训练数据集，其中对象库包含n个对象，给对象库中的少量对象赋予一个类别标记，用l表示有标记的对象数目，u表示未标记的对象数目,C表示类别标记数目；

(二)通过特征提取算法，提取对象库中不同模态对应的特征，假设具有V个模态，为每个对象生成特征向量对,特征1，特征2，...，特征V；

(三)为每一个模态的特征建立一个k-近邻图，对于模态v，其邻接矩阵记作A_v，v＝1,2,…,V；

(四)将数据的特征向量以及每一个模态的k-近邻图输入到多模态图卷积神经网络中，为每个模态分别训练得到一个分类器；

(五)获取待测对象，用u表示待测对象数目并用步骤(二)中相同的方法得到其特征向量对,用步骤(三)中的建图方法将新的样本加入到图中；

(六)将各个模态上的特征向量及所有更新后的k-近邻图输入步骤(四)所训练得到的对应分类器中，获得V个预测标记，并输出其中置信度较高的那个作为最终标记；

所述步骤(四)中使用了新的多模态图卷积神经网络，其具体结构为：

在训练时，所实用的在第v个模态中训练的网络：

(1)隐层结构为：对于k∈{1,2,...,K_v-1}，其中是第v个网络在第K层的表示，由迭代生成，是可训练参数，

混合图卷积被定义为其中是图卷积权重，是D_w中元素开方取倒数后对应的矩阵，D_w＝∑_jA_v(ij)，其中A_v(ij)代表A_v的第i行第j个元素；w表示第w个模态，取值从1到V的正整数；

(2)输出层结构为：其中K_v是第v个网络的多模态图卷积层层数；

在预测时，所使用的结构有：

S1先集成各模态输出表示其中，表示f_v在v＝1是的向量转置，T作为上标表示矩阵转置；

S2再根据对各类的预测值输出结果其中，表示矩阵中第i行第j列的元素；

所述步骤(四)，使用多模态图卷积神经网络作为分类器，其具体步骤为：

S1最大迭代轮数R，图卷积网络层数；初始化多模态图卷积神经网络f₁,f₂,...,f_V，将其中图卷积层中的参数初始化为

S2若rR，转到步骤5)；否则继续训练转到步骤3)；

S3分别为模态v＝1,2,...,V，固定使用有标记数据及损失函数计算损失，并使用优化器优化算法更新网络中参数所述优化器包括SGD或者Adam；

S4通过分别为模态v＝1,2,...,V，固定使用有标记数据及损失函数计算损失，并使用优化器更新网络中参数其中根据梯度下降算法更新，之后令迭代计数器r加1，转到步骤2).

S5输出得到的网络f₁,f₂,...,f_V。

2.如权利要求1所述的基于图卷积神经网络的多模态分类方法，其特征在于，所述步骤(五)，能够归纳式地预测待测样本的标记，无需在训练时得到待测样本信息，其具体步骤为：

S1对于待预测的u个样本，首先利用步骤(二)中的方法提取特征；

S2再利用步骤(三)所使用的同样的距离度量为每个待预测样本在对象库中寻找k个最近的邻居并对应的新图A_v′赋权；

S3预测时使用f_v(X′_v,A′_v),v＝1,2,...,V的结果，其中是待测样本的特征矩阵；

S4先集成各模态输出表示

S5再根据对各类的预测值输出结果其中i∈n+1,...,n+u对应的是待预测样本。