[发明专利]一种层次化深度图卷积网络的训练方法

说明书

本发明公开了一种层次化深度图卷积网络的训练方法，其特征在于，包括如下步骤：1)将目标领域的图中的节点特征输入待训练的层次化深度图卷积网络；2)每次迭代训练时，计算邻接矩阵A的对称归一化邻接矩阵3)判断当前迭代次数k是否小于设定迭代次数K，若小于则进行步骤4)，否则结束训练；4)计算该层次化深度图卷积网络第k+1次迭代训练后输出的节点嵌入Z^k+1，然后根据Z^k+1计算该层次化深度图卷积网络第k+1次迭代训练后输出的各节点的类别pred^k+1；5)采用pred^k+1和节点真实标签的交叉熵作为损失函数，对该层次化深度图卷积网络的参数矩阵进行参数优化，迭代次数加一，返回步骤3)。

技术领域

本发明设计了一种训练深度图卷积网络的方法，属于人工智能领域。

背景技术

具有不同结构的深度人工神经网络(ANN)如卷积神经网络(CNN)和递归神经网络(RNN)已经成为从各种具有结构化输入的数据集(包括图像、文本和语音等)中提取有用特征进而进行特征表示的强大技术。作为结构化数据的一种普遍形式，图由节点及节点之间的的边构成。图数据应用范围很广，包括社交网络、生物网络、知识图谱和出版物引用等领域。对于出版物引用领域，图数据中的每个节点代表一篇论文，节点特征包括论文的词汇特征。对于生物网络领域，图数据中的每个节点表示蛋白质，节点特征包括了位置基因集、基序集和免疫学特征等。对于社交网络领域，图数据中的每个节点表示用户，节点特征包括发帖数量、发帖间隔和推文的向量表示等。对于知识图谱领域，图数据中的每个节点代表一个实体，节点特征包括实体可能具有的属性、特性、特点及参数。

在过去的几年里，大量的研究工作将深度人工神经网络引入到图数据中，导致了图神经网络(GNN)的诞生。GNN模型在节点分类、边预测和图嵌入等应用中取得了巨大成功。GNN模型的基本思想是，不仅通过聚集节点的特征信息，还通过聚集其局部邻域来学习图中每个单独节点的嵌入表示。作为GNN的一种形式，图卷积网络(GCN)通过对来自所有一阶邻居的消息求和，使用卷积层来封装每个节点的隐藏表示。给定一个图，GCN采用定义在图上的卷积运算来逐层获取节点嵌入。在每一层，一个节点的嵌入是通过聚集它邻居节点的嵌入来获得的，然后是一层或几层非线性激活。堆叠多层能够自适应地整合更大感受野的信息。然后在最后一层的节点嵌入被用于实现某个任务。例如，对于节点分类任务，最终的节点嵌入被传递给分类器以预测节点的标签。GCN参数可以以端到端的方式训练。同样，GCN模型及其变体已经取得了不错的性能，并提升了图数据集上各种任务的最先进水平(SOTA)。

人们期望，随着卷积层越来越多，GCN模型性能可以提高，因为它们捕获高阶邻域信息的能力越来越强。然而，研究表明，大多数GCN模型层数的加深会造成模型性能的下降，而GCN模型的最佳性能通常是由两层卷积层构成的模型实现的。所以目前研究和实践中几乎所有的GCN模型都是浅层的。深层GCN模型的性能下降至少可归因于两个原因:

·大多数深度模型容易受到梯度消失问题的影响。

·最近的研究将性能下降归因于过平滑问题。重复的邻域消息传播使得所有图节点的特征收敛到相同的值，并且因此导致节点的特征表示不可区分进而无法确定节点所属的类别。

发明内容

为了解决上述限制，本发明提出了一种训练深度图卷积网络的方法HGCN，用于训练深层的图卷积网络。HGCN具有以下显著特征:HGCN是一种分层的非端到端的训练方法，且它还有三种变体分别是resHGCN、denseHGCN和proHGCN。同时，为了衡量深度GCN中节点特征表示的平滑度，本发明定义了一个量化的度量值来衡量。

为了实现上述目的，本发明提供了如下的技术方案：

一种基本的训练深度图卷积网络的方法HGCN，其步骤包括：

1)输入所有节点的特征X，即节点的初始特征表示Z⁰；