[发明专利]一种应用驱动的图划分调整方法和系统

说明书

本发明公开了一种应用驱动的图划分调整方法和系统，该方法会判断已有的图划分类型，若为点划分，则对应工作机使用并行E2H算法进行调整；若为边划分，则对应工作机使用并行V2H算法进行调整根据用户的应用进行图划分调整，该方法通过均衡应用的计算代价和通信代价，更好的对于图划分进行负载均衡，图划分效率也更高。同时，由于采用了并行化技术，图调整的速度较快，平均时间为传统图划分算法的11％左右。本发明可以快速调整现有的图划分，并进行较大的加速。

技术领域

本发明涉及图划分技术领域，尤其涉及一种应用驱动的图划分调整方法和系统。

背景技术

图(Graph)，是由点和点之间的边构成的网络。一个图网络G可以用二元组G(V,E)表示。其中，V是点的集合，E是边的集合。图划分(Graph partition)，是将一个图划分为多个图片段，使得各个图片段的大小相近，且产生的划分代价(重复的点或边)尽可能最小。

通常，图划分分为点划分，边划分和混合切分。其中，点划分(edge partition)将图的点集合划分，允许边的重复；边划分(vertex partition)将图的边集合划分，允许点的重复；混合切分(hybrid partition)允许点和边的重复。图划分问题普遍存在于计算机科学的各个领域，例如，网络社区发现，推荐系统，大规模集成电路设计和分布式并行图计算系统等。

近些年，随着大数据时代的到来，图数据的数据量也呈现几何式增长，海量的图数据对传统的图计算带来了巨大挑战。对于目前的图数据，单个机器的内存空间已经无法容纳下全部的数据，因此必须将图网络进行划分，存储在多个计算节点上，进行分布式计算。

分布式计算系统是由多个独立的计算节点和在其之间的通信网络所组成的。每个计算节点拥有独立的CPU，内存地址和存储资源。分布式图计算需要将图数据划分为多个图片段，存储在不同计算节点的硬盘或内存中，各个计算节点同时进行图计算并通过网络通信协调作业，完成计算任务。

分布式图计算系统能否高效运行，除了每个计算节点的计算性能和系统网络带宽外，更主要取决于图划分的质量。为了加速图计算系统的运行，在进行图划分的时候需要考虑两个指标：

1.负载均衡：在计算载荷分配不均时，载荷最高的计算节点会成为计算瓶颈，严重拖累计算速度。若计算载荷的总量不变，且每个计算节点的计算资源相同，那么图划分越均衡，总的计算时间越短。因而，图划分的一个指标是均衡性。

2.通信开销：每个计算节点之间通过网络之间进行通信也会降低计算速度。通信是由图数据被划分的边界造成的，当计算需要跨越图划分的边界时，便产生了通信。因此，图划分的边界越稀疏，通信的总量也就越少，从而使得通信占用的时间减少，计算速度越快。

现在已经得到广泛应用的图划分系统，有XtraPuLP，METIS，2DHash等。这些系统主要针对最小化点或边的均衡系数，同时最小化点或边的重复比来对图进行划分。其中，对于点划分，重复比为各个图片段的边数之和与原图的边数之比。均衡系数定义为最大的图片段的点数与图片段点数均值之比。对于边划分，重复比为各个图片段的点数之和与原图的点数之比。均衡系数定义为最大的图片段的边数与图片段边数均值之比。

现有的图划分系统通过最小化重复比来降低通信，通过最小化边或点的均衡系数来均衡各个计算图片段的计算负载。

现有的受到广泛应用的图划分系统往往通过最小化点或边的均衡系数均衡各个图片段的计算载荷。然而，点或边的数量均衡并不能代表计算负载的均衡，计算负载并不一定与点或边的数量呈线性相关。例如：在被XtraPuLP划分为96个图片段的社交网络图数据上查找共同邻居(Common Neighbor)，最慢的计算节点所花费时间是各计算节点计算时间均值的11.2倍。这就说明，传统的图划分方法并不能有效地均衡分布式图计算系统的负载。

发明内容