[发明专利]基于注意力机制的层次化图卷积网络的属性图深度聚类方法

权利要求书

1.一种基于注意力机制的层次化图卷积网络的属性图深度聚类方法，该方法的步骤如下：

第一步：计算节点之间的Top-K相似性，并利用KNN方法构建图。当原始数据是连续型时，采用Heat Kernel方法计算节点之间的相似度。当原始数据是离散型时，采用DotProduct方法计算节点之间的相似性，并利用KNN构建图结构。

第二步：本方法将原始数据输入到传统的自动编码器中进行表示学习，接着，用解码器对编码的表示进行解码。同时，本发明将解码得到的表示与原始数据的特征向量之间的差值作为损失函数。损失函数为原始数据的特征向量X与解码得到的特征向量之间的差距，损失函数使其之间的差距不断缩小，不断接近。

第三步：定义带有注意力机制的层次化GCN。在传统GCN中加入隐藏层，得到层次化GCN，层次化GCN可以学习多跳的邻居信息。接着，在层次化GCN的第一个隐藏层中添加注意力机制，可以自适应有选择的学习邻居节点信息。将自动编码器的每一层与基于注意力机制的层次化GCN连接起来，自动编码器学习到的特征信息将输入到基于注意力机制的层次化GCN中继续进行表示学习。

第四步：对通过自动编码器学习到的表示学习信息进行k-means聚类。运用双重自监督方法增强内聚性，优化k-means方法的聚类结果。

上述第三步中，本发明对传统的GCN进行改进。先将传统的GCN改进为层次化GCN，再将层次化GCN改进为带有注意力机制的层次化GCN。

层次化GCN是在传统的GCN上添加隐藏层，并通过softmax优化后输出结果。

以下是层次化GCN的第l层对于输入数据学习到的隐藏表示Z^l。

在本方法中是通过KNN方法得到的邻接矩阵。W是线性变换的矩阵，W^l为层次GCN的第l次迭代得到的表示，同理可以得到，W^l-1为层次GCN的第l-1次迭代得到的表示。X是节点聚合的特征，在本方法中为层次GCN的第l-1次迭代得到的表示W^l-1以及通过自动编码器得到的表示H^(l-1)之和。由于结构信息和特征信息同样重要，所以将两部分等比例地输入到层次化GCN中，可以得到较好的效果。Relu和softmax是激活函数。

接着，在层次GCN的第一层加入注意力机制，即根据聚类效果对邻居节点自适应地加入不同的权重值，可以自适应地学习邻居节点的信息。

那么，节点i的注意力值ω_i和权重α_i的计算方式如下：

ω_i＝q^T·tanh(W·(z_i)^T+b)

上式中，T为转置。对于节点i，它在嵌入Z的表示学习为z_i。本方法首先通过非线性变换对嵌入进行变换，然后使用一个共享的注意力向量q来获得注意力值ω_i。这里W是权重矩阵，b是偏置向量。同样的，可以获得节点i的第1，2，3...个邻居的注意力值ω_i1，ω_i2，ω_i3...

α_i越大，表示权重越大，那么嵌入表示就越重要。运用softmax对注意力值求和，表示一层感知机。通过上式，可以得到对应节点的权重。

本方法将权重转化为对角矩阵，方便后续的运算。即采用diag( )函数构造对角矩阵，对α_i来说，则可以得到对角矩阵β_i。

β_i＝diag([α_i])

结合周围邻居的嵌入表示Z^l，得到最后的嵌入表示Z^(l)。Z^(l)即为通过基于注意力机制的层次化GCN得到的表示。

Z^(l)＝β₁Z¹+β₂Z²+…+β₃Zⁿ

其中，β₁，β₂，β₃分别表示节点的第1，2...n个邻居节点自适应学习得到的权重。Z¹，Z²，Z³为邻居节点的表示学习信息。

基于注意力机制的层次化GCN的损失函数L_gcn为：

上式中p_ij为经过双重自监督优化后的聚类结果，z_ij为基于注意力机制的层次化GCN学习到的表示信息。损失函数为最小化两者之间的差距，使层次化GCN学习到的表示信息并分类得到的结果更接近优化后的聚类结果。

本发明将基于注意力机制的层次化GCN的聚类结果作为模型最终的聚类结果，因为基于注意力机制的层次化GCN不仅学习了数据最原始的特征信息，也学习到了结构化信息。

2.根据权利要求1所述的基于注意力机制的层次化图卷积网络的属性图深度聚类方法，其特征在于第三步中的自适应层次化图卷积网络，即基于原始的图卷积网络，添加隐藏层，再在第一个隐藏层中加入注意力机制。