[发明专利]一种基于知识蒸馏的可解释图神经网络表示方法

说明书

本发明涉及图神经网络技术领域，具体涉及一种基于知识蒸馏的可解释图神经网络表示方法，该方法包括：将图数据输入教师网络，在教师网络中得到概率向量作为软目标；通过温度T将教师网络得到的软目标蒸馏转移到学生网络中，使用软目标以全局近似的方式帮助学生网络学习向量表示；学生网络将节点不同邻居中的关键信息节点进行聚合，得到聚合后的学生网络的软预测向量、硬预测向量以及最终节点表示向量和形成的可解释结果。本发明具有良好的网络表示能力和解释能力，不仅能够有效的表示节点以适用各项下游任务，同时还能够解释得到的表示结果的原因。

技术领域

本发明涉及图神经网络技术领域，具体涉及一种基于知识蒸馏的可解释图神经网络表示方法。

背景技术

近年来，图数据越来越多地在日常生活中出现，像生物网络、社交网络、交通网络等。图数据能够有效的描述数据之间的关联关系，通常通过图嵌入挖掘图数据，图嵌入能够将图中高维、稀疏的节点信息映射到同一个嵌入空间得到低维、稠密、实值的向量表示。图嵌入有效的避免了特征选择和特征提取的困难，同时保证了学到的向量能够较好的表示节点信息。

随着深度学习的逐步发展，图嵌入算法逐渐过渡到神经网络时代，涌现出一大批优质的图神经网络模型。尽管图神经网络在诸多任务中都表现出了优越的性能，但图神经网络的广泛采用仍然存在挑战。首先是如何确定需要聚合的邻居。图神经网络在邻居聚合时一般采用两种方式：一是聚合全部的邻居节点；二是随机聚合邻居节点。但实际上这两种方案都存在弊端：第一种聚合全部的邻居节点，其实有一部分不是必要的可能会包含一些“噪声”，就像社交网络中的“邓巴数”，认识或有过交往的人很多，但是实际需要维护和拥有的稳定社交网络的人数是有限的。而第二种随机选择节点聚合，在处理邻居节点信息种类较多并且较为复杂的情况时，并不一定可以聚合到最合适的邻居节点。其次，与深度学习一样，图神经网络同样面临着不可解释的问题。让人们无法相信模型是可靠的，并且能够进行控制的。在解释方面通常采用以下方案：一是从模型本身进行入手，对系统得到的结果进行分析,通过梯度或者添加扰动，探测不同变量的重要性,解释模型做出决策的依据。二是构建与模型无关的特征解释方法。三是直接构建本身就具有可解释性的模型，目的在于学习更结构化和具有解释性的模型，能够在优化的同时解释模型。

发明内容

为了解决上述问题，本发明提供一种基于知识蒸馏的可解释图神经网络表示方法。该可解释图神经网络由教师网络和学生网络两部分组成，该方法具有良好的网络表示能力和解释能力，不仅能够有效的表示节点以适用各项下游任务，同时还能够解释得到的表示结果的原因。

一种基于知识蒸馏的可解释图神经网络表示方法，包括以下几个步骤：

S1、将图数据输入教师网络，在教师网络中得到概率向量作为软目标；

S2、通过温度T将教师网络得到的软目标蒸馏转移到学生网络中，使用软目标以全局近似的方式帮助学生网络学习向量表示；

S3、学生网络将节点不同邻居中的关键信息节点进行聚合，得到聚合后的学生网络的软预测向量、硬预测向量以及最终节点表示向量和形成的可解释结果。

进一步的，步骤S3具体包括：

S31、确定学生网络的中心节点：为图中每一个节点学习一个向量表示，视当前需要进行学习的节点为中心节点；

S32、当前中心节点的每一阶邻居节点视为一个切片；

S33、分别对每个切片进行关键信息节点选择和聚合：在每一阶邻居节点中选择合适的节点进行聚合，得到不同阶邻居节点中的关键信息节点；

S34、将每一阶的关键信息结果聚合得到学生网络的软预测向量、硬预测向量以及最终的向量结果。

进一步的，步骤S2中，蒸馏方式如下公式所示：