[发明专利]一种支持增量分割的大规模图分割方法

说明书

本发明公开了一种支持增量分割的大规模图分割方法，该图分割方法对节点分割算法NE进行改造并融合了流式分割算法HDRF，对于初始分割阶段采用基于多层次框架的节点分割算法MNE，后续增量分割阶段采用流式分割算法HDRF。本发明在保证分隔质量的同时，也大大减少了图分割的时间，便于后续对大规模图进行分析和处理。

技术领域

本发明涉及图分割的技术领域，具体涉及一种支持增量分割的大规模图分割方法。

背景技术

现实生活中，图被广泛应用于道路交通、社交网络、生物网络、电子商务等各个领域，构建起了人、商品、兴趣之间的各种关联。同时，图的规模也越来越大：谷歌收录的网页数量已经超过450亿，De Bruijn生物网络包含数十亿节点。图规模的增长带来了存储和处理两方面的问题：(1)单个机器很难存储下全图；(2)对于大图的分析处理十分耗时。为了解决以上问题，出现了许多分布式图处理系统，例如图计算框架Pregel【Malewicz G,AusternM H,Bik A J,et al.Pregel:a system for large-scale graph processing[C].Proceedings of the 2010 ACM SIGMOD International Conference on Management ofdata,2010:135-146】以及它的开源实现Apache Giraph，图数据库Titan和Trinity,图计算系统GraphLab,PowerGraph【Gonzalez J E,Low Y,Gu H,et al.PowerGraph:DistributedGraph-Parallel Computation on Natural Graphs[C].OSDI,2012:2】,GraphX【GonzalezJ E,Xin R S,Dave A,et al.GraphX:Graph Processing in a Distributed DataflowFramework[C].OSDI,2014:599-613】等。在对大图进行进一步的分析之前，需要利用图分割技术将大图分割为多个小图，分别加载到不同的机器上。图分割作为预处理步骤，对于降低复杂度，实现并行化以及减少通讯开销有着非常重要的作用。

图分割问题是NP-Hard问题【Bui T N,Jones C.Finding good approximatevertex and edge partitions is NP-hard[J].Information Processing Letters,1992,42(3):153-159】,目前广泛使用的是启发式算法。传统的图分割算法KL(Kerninghan-Lin)算法，以及基于它改进的FM(Fiduccia-Mattheyses)算法都属于局部搜索算法，它们利用启发式规则迭代地对节点进行交换，但由于时间和空间开销大，仅适用于处理内存中规模较小的图。为了处理规模更大的图，许多多层次分割算法(Multi-Level partitioningalgorithm)被提出。多层次分割包含粗化、对粗化后的图进行分割以及去粗化三个阶段，代表性算法有METIS【Karypis G,Kumar V.Afast and high quality multilevel schemefor partitioning irregular graphs[J].SIAM Journal on scientific Computing,1998,20(1):359-392】,Chaco,Scotch以及它们的一些并行化版本，如ParMetis,PT-Scotch。其中METIS算法因其分割质量高，被视作与新分割算法对比的标准。然而，由于粗化阶段采用的极大匹配算法非常耗时，并不适用于对超大规模的图进行分割。此外，它也无法有效适应图的增量变化。