[发明专利]基于异构图神经网络的高阶关系知识蒸馏方法及系统

说明书

本发明提出一种基于异构图神经网络的高阶关系知识蒸馏方法和系统，所述方法主要包括一阶节点级知识蒸馏和二阶关系级知识蒸馏两部分，有效解决了数据标签不精确和异构高阶关系语义建模困难这两个问题。具体来说，该方法通过进行节点级知识蒸馏，对预训练异构教师模型的单个节点语义进行编码；通过进行关系级知识蒸馏，对预训练异构教师模型的不同类型节点之间的语义关系进行建模。通过整合节点级知识蒸馏和系级知识蒸馏,这种高阶关系知识蒸馏方法成为一种实用且通用的训练方法，适用于任意的异构图神经网络，不仅提升了异构学生模型的性能和泛化能力，而且保证了对异构图神经网络的节点级和关系级知识提取。

技术领域

本发明涉及图数据挖掘领域，具体来说，涉及异构图数据挖掘领域，更具体地说，涉及一种基于异构图神经网络的高阶关系知识蒸馏方法及系统。

背景技术

异构图在学术和工业领域的普遍存在，最近研究人员提出了大量的异构图神经网络(HGNN)，学习异构图中的节点表示成为当下研究的热点。与同构图相比，异构图建模具有集成更多信息的优势。然而，如何将异构图中的丰富结构和语义信息嵌入到低维节点表示中是一个严峻的挑战。

近年来，为了解决异构图中节点和边的异质性问题，研究人员提出了许多基于HGNN的方法，主要分为基于元路径的方法和基于边关系的方法。为了捕捉边的异质性，基于边关系的方法直接利用特定关系矩阵来处理不同度量空间中各种节点类型的边关系，如RGCN、HGT、HGConv等异构图神经网络模型。然而，基于边关系的方法只能捕获异构图的局部结构信息。为了能够编码异构图中的丰富的语义信息，基于元路径的方法被提出。元路径是一种有效的语义挖掘工具，能够在异构图中捕获更复杂、更丰富的节点间高阶语义信息。其中，HAN是基于元路径方法的开创性工作。

虽然现有的HGNN已经取得了很好的性能，但它们的表示能力受限于:(1)数据标注不精确。一般来说，HGNN的训练方式属于半监督学习，因此其性能高度依赖于大量高质量的标签数据。然而，模糊的数据标注将成为HGNN建模的瓶颈；(2)不同类型节点之间的语义关系建模困难。尽管元路径被用于异构图中的高阶语义建模，但是不同领域的元路径选择仍然具有挑战性，因为它需要足够的领域知识。

近年来，深度学习中的知识蒸馏(KD)技术在提升模型的性能上展现出一定的优点。目前，有一些工作尝试将知识蒸馏方法和图神经网络结合在一起进行应用。但它们都是为同构图神经网络设计的，其中处理的数据中每个节点或边都是相同的类型。

发明内容

本发明的目的是克服上述现有技术中HGNN面临的数据标注不精确和语义关系建模困难的两大缺陷，提出了一种基于异构图神经网络的高阶关系知识蒸馏方法，其中包括：

步骤S1、分别获取待蒸馏知识的异构图神经网络模型，作为教师模型，获取待接受知识的异构图神经网络模型，作为学生模型，获取该教师模型和该学生模型的输出层的模型预测值和中间图卷积层异构节点嵌入表示；

步骤S2、基于该教师模型和该学生模型的模型预测值，通过节点级知识蒸馏提取该教师模型的一阶节点级软标签知识；

步骤S3、基于该教师模型和该学生模型的中间图卷积层嵌入表示，通过关系级知识蒸馏提取该教师模型的二阶关系级异构语义知识；

步骤S4、整合该一阶节点级软标签知识和该二阶关系级异构语义知识，得到高阶关系知识，基于该高阶关系知识训练该学生模型，使用训练完成的学生模型用于指定任务。

所述的基于异构图神经网络的高阶关系知识蒸馏方法，其中该步骤S1包括：

获取异构数据集D，其包括n个训练集样本，每个样本的特征维度是d维；构建相同配置的教师模型T和学生模型S，各包含5层：输入层、第一层卷积层、第二层卷积层、MLP线性变换层和Softmax输出层；教师和学生神经网络参数分别为W_t和W_s，卷积层采用的激活函数RELU为f(x)＝max(x，0)；