[发明专利]基于对比学习的图神经网络的去偏方法

权利要求书

1.一种基于对比学习的图神经网络的去偏方法，包括以下步骤：

S1：客户端收集获取图数据，构建图网络；

S2：将图网络进行增删连边的数据增强后，构建添加了公平约束的对比学习模型，训练至收敛后对比得到去偏效果最好的数据增强方案，获得去偏之后的图数据；

S3：构建对应具体任务的图神经网络模型，在模型损失函数中添加公平约束，利用上述图数据进行训练至模型收敛，得到去除了偏差的公平模型，用于实际应用。

2.如权利要求1所述的一种基于对比学习的图神经网络的去偏方法，其特征在于：所述步骤S1具体包括：

收集获取实际任务所需的原始图数据集，对原始图数据进行初步的数据预处理，删去孤立节点，得到可用于训练的完整图数据网络G(V,E,X)，其中V代表图中的节点集合，E代表根据节点之间的关系连接而成的连边集合，X表示节点的特征属性构成的集合。

3.如权利要求1所述的一种基于对比学习的图神经网络的去偏方法，其特征在于：所述步骤S2具体包括：

S2.1：将S1得到的图网络G进行随机的数据增强，此处采用随机增删部分连边的方式进行数据增强，在该步骤中，每条连边的增删的概率遵循一个一定概率ρ的均匀分布，从而得到新的训练图数据G₀，我们在此图数据上进行对比学习；

在上述获得的图数据G₀的基础上进行对比学习的预训练，在对比学习中，对任一节点用户的计算图G_x，对其进行随机增删连边和随机丢弃部分节点及其连边两种方式的数据增强(节点和连边的数据增强也遵循固定概率的均匀分布)，得到两个增强图G_i和G_j，将这两个增强图对作为正例，不同节点的增强图对作为负例，进行对比学习；

S2.2：将增强图G_i和G_j分别输入一个对比学习模型f(·)，输出获得输入图的表示向量，分别为h_i和h_j；再将得到的表示向量输入一个非线性变换的g(·)，将其映射到另一个计算对比损失的潜在空间中来计算对比损失，输出结果为z_i和z_j，过程具体为：

S2.3：定义损失函数的第一部分，即对比损失函数L(·)，以实现正例z_i和z_j之间相比于负例的一致性的最大化；该部分损失函数的作用是使得正例间的输出结果足够接近，而负例间的输出相互远离，以保证对比学习模型能在没有标签的情况下提取到数据的基本特征；基于余弦相似函数定义的NT-Xent损失函数定义为：

其中z_n,i,z_n,j表示第n个节点的计算图的输出向量；

S2.4：定义损失函数的第二部分，即公平损失函数F(·)，以实现对比学习的分类结果受敏感属性性别影响的偏差最小化；根据敏感属性的不同将所有节点分为两个集合P₁和P₂(假设敏感属性只有两个不同的值)，两个集合对应的输出的分布为P(y₁)和P(y₂)；公平损失函数F(·)通过计算两个分布之间的距离来衡量数据偏差的大小，当偏差小时，说明输出结果受敏感属性的影响较小，则两个分布应该较为接近，即距离较小；根据Wasserstein-1距离定义损失函数为：

F(·)＝W₁(P(y₁),P(y₂)) (3)

该部分损失函数用于让模型训练结果能反馈出图数据中对敏感属性的偏见大小，方便数据增强方案的选择；

S2.5：采取不同的数据增强方案，改变步骤S2.1中增删的连边的选择和增删的概率，得到不同的图数据，并对其重复上述S2.2-S2.4的训练过程，通过使得S2.4中得到的分布距离的最小化，得到数据偏差最小的增删连边的方案G_M，则该新图G_M即为对比学习预处理后得到的偏差更小的图数据。

4.如权利要求1所述的一种基于对比学习的图神经网络的去偏方法，其特征在于：所述步骤S3具体包括：

S3.1：针对具体任务构建图神经网络模型，这里以图注意力网络(Graph AttentionNetwork:GAT)为例，将上述步骤得到的图数据输入节点分类模型得到节点分类的置信度向量；对于K层GNN网络，具体过程如下：

其中表示节点v_n在第k层的嵌入，且x_n表示节点v_n的特征属性向量；

S3.2：对于步骤S3.1中得到的置信度向量X与节点的类标向量B(对于每个节点，如果节点属于该类则类标为1，如果节点不属于该类则类标为0)作均方误差，得到的结果作为模型损失函数的第一部分：

S3.3：将用户节点根据敏感属性值分为两个集合P₁和P₂，我们计算在同一集合内的用户节点的输出置信度向量之间的平均距离，对该距离取相反数即可作为模型损失函数的第二部分：

S3.4：将步骤S3.2和步骤S3.3得到的两部分损失函数求和，即可作为整个模型的损失函数：

L＝L₁+L₂ (7)

通过梯度的反向传播优化节点分类模型，当损失函数达到收敛时，模型训练完成，根据得到的置信度向量即可得到分类结果；此时得到的模型即是去除了敏感属性的偏差影响的节点分类模型。