[发明专利]一种基于spark平台的内存迭代的重叠社区并行发现方法

摘要

本发明公开了一种基于spark平台的内存迭代的重叠社区并行发现方法，步骤如下：在配置有spark环境的计算集群上，通过GraphX读取原始社区网络数据，构造图实例；通过GraphX并行计算出图实例中每个顶点的邻居节点的集合，作为图实例中每个顶点的属性；将图实例的每条边初始为一个社区，根据图实例的邻居节点的集合计算图实例中所有存在公共顶点的两条边之间的相似度；寻找相似度最大的两个社区，将这两个社区合并为新的社区；更新社区相似度集合；使用分割密度公式计算此次社区划分的分割质量；判断目前社区数量是大于1还是等于1，如果等于1，就获得分割质量最大的社区划分。

主权项

1.一种基于spark平台的内存迭代的重叠社区并行发现方法，其特征是，包括如下步骤：步骤(1)：在配置有spark环境的计算集群上，通过GraphX读取原始社区网络数据，构造图实例；步骤(2)：通过GraphX并行计算出图实例中每个顶点的邻居节点的集合，作为图实例中每个顶点的属性；步骤(3)：将图实例的每条边初始为一个社区，根据图实例的邻居节点的集合计算图实例中所有存在公共顶点的两条边之间的相似度；步骤(4)：寻找相似度最大的两个社区，将这两个社区合并为新的社区；步骤(5)：更新社区相似度集合；步骤(6)：使用分割密度公式计算此次社区划分的分割质量；所述步骤(6)步骤为：计算每个社区的分割密度；对以社区为元素组成的RDD使用map框架，然后计算整个网络的分割密度；步骤(6)的计算每个社区的分割密度公式为： D c = m c - ( n c - 1 ) n c ( n c - 1 ) / 2 - ( n c - 1 ) - - - ( 3 ) ]]>网络G中子图Gc有mc条边，mc＝|Gc|，nc为子图Gc中顶点个数；步骤(6)的计算整个网络的分割密度的公式为： D = 2 M Σ m c m c - ( n c - 1 ) ( n c - 2 ) ( n c - 1 ) - - - ( 4 ) ]]>整个网络社区分割为{G1,G2,...,Gc}，此分割的分割密度D是对所有子图的分割密度根据边的加权平均值；步骤(7)：判断目前社区数量是大于1还是等于1，若划分后的社区数量大于1，继续步骤(4)，如果等于1，就获得分割质量最大的社区划分。