[发明专利]基于异构图神经网络的高阶关系知识蒸馏方法及系统

权利要求书

1.一种基于异构图神经网络的高阶关系知识蒸馏方法，其特征在于，包括：

步骤S1、分别获取待蒸馏知识的异构图神经网络模型，作为教师模型，获取待接受知识的异构图神经网络模型，作为学生模型，获取该教师模型和该学生模型的输出层的模型预测值和中间图卷积层异构节点嵌入表示；

步骤S2、基于该教师模型和该学生模型的模型预测值，通过节点级知识蒸馏提取该教师模型的一阶节点级软标签知识；

步骤S3、基于该教师模型和该学生模型的中间图卷积层嵌入表示，通过关系级知识蒸馏提取该教师模型的二阶关系级异构语义知识；

步骤S4、整合该一阶节点级软标签知识和该二阶关系级异构语义知识，得到高阶关系知识，基于该高阶关系知识训练该学生模型，使用训练完成的学生模型用于指定任务。

2.如权利要求1所述的基于异构图神经网络的高阶关系知识蒸馏方法，其特征在于，该步骤S1包括：

获取异构数据集D，其包括n个训练集样本，每个样本的特征维度是d维；构建相同配置的教师模型T和学生模型S，各包含5层：输入层、第一层卷积层、第二层卷积层、MLP线性变换层和Softmax输出层；教师和学生神经网络参数分别为W_t和W_s，卷积层采用的激活函数RELU为f(x)＝max(x，0)；

该教师模型和该学生模型的中间图卷积层异构节点嵌入表示包括：

输入的样本特征为h⁰，卷积层的表达为h，则h_t＝RELU(W_t*h⁰)，h_s＝RELU(W_s*h⁰)；MLP线性变换层的输出表达为z，则教师和学生模型的线性变换层的输出表达分别是z_t和z_s；

该教师模型和该学生模型的模型预测值包括：Softmax输出层的表达为p，则p_t＝Softmax(z_t)，p_s＝Softmax(z_s)。

3.如权利要求2所述的基于异构图神经网络的高阶关系知识蒸馏方法，其特征在于，该步骤S2包括：

采用教师和学生模型预测值p_t，p_s，使用节点级知识蒸馏方法将教师模型中的软标签知识转移到学生模型中，得到一阶节点级蒸馏损失L_NKD作为该一阶节点级软标签知识：

L_NKD＝(1-α)L_CE+αL_KD

其中分别是基本的交叉熵损失和蒸馏损失，α是平衡交叉熵损失和蒸馏损失的超参数，D(·)是KL度量函数；另外是带有温度系数τ缩放的sfotmax概率输出。

4.如权利要求3所述的基于异构图神经网络的高阶关系知识蒸馏方法，其特征在于，该步骤S3包括：

采用教师和学生中间卷积层嵌入表示h_t，h_s，使用关系级知识蒸馏方法将教师模型中的高阶语义关系知识转移到学生模型中；

教师和学生网络模型的相关矩阵MetaCorr为：

其中k是相应异构数据集D对应的异构节点类型总数，i，j表示不同类型的节点；为高斯核函数；

对中间层嵌入进行非线性变换，然后应用一个共享的注意向量q得到学生模型的注意值

其中W_s是教师模型的权重矩阵，b_s是偏差向量；

对注意值进行归一化处理，通过softmax函数得到最终的注意系数

得到二阶关系级知识蒸馏损失L_RKD，作为二阶关系级异构语义知识；

其中D是均方误差。