[发明专利]一种可重叠的社群发现方法

说明书

本发明公开了一种可重叠的社群发现方法，步骤如下：S1分布式计算图G中的所有极大团，统计极大团的数量信息并将极大团的数量信息发送到所有计算节点中；S2对所有的极大团进行排序和编码，给每个极大团分配唯一的编码确定极大团；S3计算极大团中的子团，将子团发送到不同计算节点中；S4在每个计算节点内，构建反向索引；S5对每个极大团，利用反向索引，计算与每个极大团与其同一个计算节点内有k‑1个共享顶点的极大团，使用并查集将极大团的I D保存在同一个集合中；S6合并不同集群中的并查集，求出相应的派系。采用上述结构的一种可重叠的社群发现方法，增加了系统对大图的处理能力，横向扩展更加容易且成本更低。

技术领域

本发明涉及图数据分析技术领域，尤其是涉及一种可重叠的社群发现方法。

背景技术

在真实世界中，图被广泛用于表示实体以及实体之间的关系。而真实世界中的图通常由稠密子图构成，即图中一小部分顶点具有紧密的联系。从图中挖掘稠密子图是一个非常基础的问题，在图数据库和数据挖掘领域已经得到的广泛的研究，并且针对社群也有若干种不同的定义。

派系过滤在社交网络中寻找紧密联系的群体中有重要应用。在社交网络中，寻找紧密联系的社群有着非常重要的意义，可以用于智能推荐，广告推送以及金融系统中的风风险控制。派系是一种基于团的结构，但是它对子图联系程度的要求比团更低，这有助于在图中发现更大的社区。现有技术多为单机单线程的方法，这些方法虽然效率高，但是可扩展性低。在实际使用中，提升计算机的单核心性能成本高，且提升不明显。由于互联网工业的发展，现实世界中的图数据无法使用单机进行处理。而现有的分布式算法基于MapReduce(一种用于大规模数据集的并行运算的编程模型)。然而，MapReduce的性质决定它更适和批处理计算，而不适应图算法中出现的大量迭代计算，故效率较低。

发明内容

本发明的目的是提供一种可重叠的社群发现方法，增加了系统对大图的处理能力，横向扩展更加容易且成本更低。

为实现上述目的，本发明提供了一种可重叠的社群发现方法，步骤如下：

S1、分布式计算图G中的所有极大团，统计极大团的数量信息并将极大团的数量信息发送到所有计算节点中，按照极大团编号顺序决定极大团的顺序；

S2、对所有的极大团按照数组排序的规则进行排序，按照排序结果，对所有的极大团进行编码，给每个极大团分配全局唯一编码，按照该编码顺序确定极大团；

S3、计算极大团中的子团，每个极大团的子团跟对应的极大团具有相同的编号，将计算出的极大团的子团按照子团的最小顶点将子团发送到不同的计算节点中；

S4、在每个计算节点内，构建反向索引；

S5、对每个极大团，利用反向索引，计算与每个极大团与其同一个计算节点内有k-1个共享顶点的极大团，利用共查集将这些极大团的ID保存在同一个集合中；

S6、合并不同集群中的并查集，求出相应的派系。

优选的，在步骤S1中，将每个极大团的最小顶点ID作为极大团的类别，统计所有极大团的类别和数量，将所有极大团从0开始连续编号，按照极大团中最小顶点的大小将所有的极大团连续、平均分配到所有计算节点中。

优选的，在步骤S3中，计算极大团中的子团步骤为，对所有极大团q，q的大小为|q|，对k＝1到|q|-k，将q[k:|q-1|]分配给q[k]所在的节点，若q[k-1]和q[k]属于同一个计算节点，则可以跳过该分配，每个极大团的子团跟对应的极大团具有相同的编号，在分发时，连同其对应极大团的编号。

优选的，步骤S4具体为，顶点到包含该顶点且存在于该计算节点的极大团或部分极大团的ID。

优选的，在步骤S5中，若其中有极大团已经属于其他集合，则将本集合与其他集合合并，数据结构可以由并查集维护。