[发明专利]基于注意力机制的层次化图卷积网络的属性图深度聚类方法

说明书

本发明涉及基于图卷积网络的属性图深度聚类方法，考虑了图卷积网络自适应的，层次化的学习邻居节点的必要性，提出基于注意力机制的层次化图卷积网络，解决了图卷积网络学习周围邻居节点信息不够充分的缺陷。本发明对图卷积网络迭代隐藏层，使其可以学习到多跳邻居信息，并在第一个隐藏层中加入注意力机制，使其自适应的学习一阶邻居信息，因为一阶邻居信息对节点来说关系更近，更重要。通过实验结果分析，这样的改进对于属性图深度聚类任务上，可以显著提高聚类的精度。

技术领域

本发明的技术方案涉及图卷积网络和深度聚类领域，具体地说是基于注意力机制的层次化图卷积网络的属性图聚类方法。

背景技术

现实世界中的许多应用如Web网络、社会网络都可以用图结构来描述，或者能够采用基于图数据的方法进行处理。基于图的表示形式通过节点属性表征各个属性，同时通过图结构捕获成对的关系。然而，图数据规模日益趋向海量化发展。一方面，从这些大规模图中分析用户所需要的信息，是一个极具挑战性的难题。另一方面，将如此大规模的图一次性进行加载显示，不仅耗费大量资源，而且导致可视化视图非常混乱。从数据管理角度出发，对大规模数据进行按需加载，将节省大量计算资源。图的聚类为上述需求提供了解决途径，有利于大规模图的分析、理解和可视化。

如今，常用的属性图深度聚类方法分为基于自动编码器(AutoEncoder，AE)的深度聚类和基于图卷积网络(Graph Convolutional Network，GCN)的深度聚类。基于AE的属性图深度聚类方法有深度嵌入式聚类方法和增强的深度嵌入式聚类方法等；基于GCN的属性图深度聚类方法有变分图自编码器方法,聚类导向的深度聚类方法,结构化深度聚类模型等。前者可以应用于纯无监督的环境，利用编码函数以及解码函数找到数据最显著的特征，并用基础的聚类方法,如K-means进行聚类。后者利用图卷积网络学习数据的内容和结构信息，优化聚类效果。

现有的基于图卷积网络的属性图深度聚类方法大多存在表示学习不够充分的缺点，对现有的聚类技术从表示学习以及聚类方法对比后发现，以下的一些基于图卷积网络的属性图聚类方法存在的不足主要有：

(1)传统的基于图卷积网络的深度聚类方法利用固定低阶的图卷积，只考虑每个节点的一个跳数内的邻居，没有充分利用节点之间的关系，忽略了图的多样性。所以需要考虑多个跳数的信息，充分利用多跳节点之间的关系。

(2)传统的基于图卷积网络的深度聚类没有考虑图卷积网络对周围邻居学习的权重影响。相似的节点应该学到更充分的表示信息。加入注意力机制可以使GCN的学习更有主次之分，所以本发明在图卷积网络中加入注意力机制。

发明内容

针对现有技术的不足，本发明所要解决的技术问题是：提供一种基于注意力机制的层次化图卷积网络的属性图深度聚类方法。该方法提出了基于注意力机制的层次化GCN，将通过K最近邻方法(KNN，K-NearestNeighbor)得到的结构信息和通过自动编码器得到的特征信息同时输入到基于注意力机制的层次化GCN中进行学习，利用双重自监督方法优化k-means聚类的结果，这显著提高了属性图深度聚类的准确度。

本发明解决该技术问题所采用的技术方案是：提供一种基于注意力机制的层次化图卷积网络的属性图深度聚类方法，该方法的步骤如下：

第一步：计算节点之间的Top-K相似性，并利用KNN方法构建图。当原始数据是连续型时，采用HeatKernel方法计算节点之间的相似度。当原始数据是离散型时，采用DotProduct方法计算节点之间的相似性，并利用KNN构建图结构。

第二步：本方法将原始数据输入到传统的自动编码器中进行表示学习，接着，用解码器对编码的表示进行解码。同时，本发明将解码得到的表示与原始数据的特征向量之间的差值作为损失函数。损失函数为原始数据的特征向量X与解码得到的特征向量之间的差距，损失函数使其之间的差距不断缩小，不断接近。