[发明专利]一种基于神经通路的图垂直联邦数据增强方法与装置

说明书

本发明公开了一种基于神经通路的图垂直联邦数据增强方法与装置，首先构建具有奖励机制的图垂直联邦学习框架；在训练过程中，通过计算本地模型神经元激活值，根据其与模型每一层输入的梯度关系，获得本地模型的逆向神经通路，通过模型神经通路寻找有利于中心服务器模型性能的图拓扑结构；再通过计算本地模型神经元激活值，根据其与模型每一层输入的梯度关系，获得本地模型的逆向神经通路，通过模型神经通路寻找有利于中心服务器模型性能的节点特征；然后基于寻找到的图拓扑结构和节点特征，对本地数据进行数据增强；最后将经过增强后的本地数据继续用于图垂直联邦学习模型的训练，从而提高本地参与方在图垂直联邦模型中的贡献度。

技术领域

本发明属于网络安全技术领域，具体涉及一种基于神经通路的图垂直联邦数据增强方法与装置。

背景技术

图神经网络已经在图表示学习领域中取得了引人瞩目的成绩，它可以高效地对非规则的图结构数据进行处理和分析，并极大地便利了下游应用的使用，例如节点分类、图分类以及链路预测等。图卷积模型是其中一种经典的图神经网络。然而，现有的图神经网络依赖于完整的节点连接信息以及丰富的节点特征信息，这在现实生活中往往是难以达到的。不同的机构拥有的数据信息可能不完全相同，由于隐私限制以及竞争关系的存在，这些数据往往不能被直接共享，造成了“数据孤岛”的现象，这导致图神经网络难以最大程度地发挥其作用。而图垂直联邦学习的提出，正是为了解决这种数据隔离的问题。在图垂直联邦学习中，不同图数据拥有者可以通过交换模型计算的中间结果，在保证数据隐私不出本地的情况下，共同维护一个可靠的中心模型，并提高本地端模型的质量，从而获得较仅有本地数据的情况下更好的结果。

然而，在一些联邦学习框架中，中心服务器将根据不同参与方上传数据的质量计算各参与方的贡献度，并通过该贡献度指标为不同参与方分配不同的奖励，以此促进参与者提供更优质的数据，而优质数据将进一步提高中心服务器模型的业务能力，以获得更多的收益。因此，如何通过数据增强的方式，提高参与方在图垂直联邦场景中的贡献度，以获得更好的模型预测能力以及更多的奖励具有重要的现实意义。

发明内容

在图垂直联邦模型在多方联合训练的场景中，其中可能存在一些参与方数据质量较差的情况，为了提高这些参与方在图垂直联邦模型中的贡献度，提高中心服务器模型的业务能力，获取更多的收益，本发明提供了一种基于神经通路的图垂直联邦数据增强方法，通过本地模型的神经通路逆向寻找最有利于服务器模型性能的图结构和节点特征，并进行数据增强，从而提高该参与方在图垂直联邦模型中的贡献度。

为实现上述发明，本发明提供的技术方案为：

本发明实施例的第一方面提出了一种基于神经通路的图垂直联邦数据增强方法，包括以下步骤：

步骤S1，定义奖励机制，基于若干本地模型参与方与一中心服务器组成图垂直联邦学习框架；

步骤S2，通过计算本地模型神经元激活值，根据其与本地模型每一层输入的梯度关系，获得本地模型的逆向神经通路，通过该逆向神经通路寻找图拓扑结构；

步骤S3，基于步骤S2得到的逆向神经通路寻找有利于中心服务器模型性能的目标修改节点的节点特征；

步骤S4，基于步骤S2和步骤S3得到的图拓扑结构和节点特征，对本地数据进行数据增强。

进一步地，所述本地模型具体为图神经网络，所述本地模型的输出的本地节点嵌入向量E为：

其中，ρ(·)代表ReLU激活函数，X为节点特征矩阵，W₁和W₂分别为第1层和第2层的模型参数，A为图结构对应的邻接矩阵；I_N为N×N的对角矩阵，N为节点数量；

为节点的度矩阵。