[发明专利]一种基于图算法负载的图大数据流式划分方法

说明书

本发明涉及一种基于图算法负载的图大数据流式划分方法，包括以下步骤：数据加载与初始化步骤：加载图大数据，初始化子图；度量测度选取与计算步骤：根据图大数据并行处理的目标，计算各子图的期望测度值；启发式规则选取步骤：在预先制定的启发式规则集合中，选取启发式规则；子图划分步骤：通过图大数据处理系统，计算图大数据各顶点的预置位置，进行子图的划分，预置位置基于各子图的期望测度值和启发式规则计算。与现有技术相比，本发明采用非均衡划分的方式，根据并行计算机体系结构和图算法执行行为特征等，选择划分度量测度，根据不同的划分目标，选取启发式规则，能够满足各种应用领域多样化的图划分需求和目标。

技术领域

本发明涉及数据处理领域，尤其是涉及一种基于图算法负载的图大数据流式划分方法。

背景技术

图数据划分广泛应用于各行业，特别是图的规模越来大，单机处理不了，需要采用多机并行计算的方式进行处理，图划分越加重要。图规模反映图数据包括的顶点和边的数目。若图数据包括的顶点和边的数目较多，则为大规模图数据。

目前，关于图大数据划分的方法主要有均衡划分、非均衡划分、流式划分等。均衡划分将图按照顶点数、连接边数等均匀的划分成规模相同或相近的子图。非均衡图划分关注如何设计体系结构感知的非均衡图划分算法。流式划分目的则是为了降低传统图划分算法执行期间的计算和通信开销。这些方法都有各自特色和适合的应用场景。

现有的图划分方法大多为均衡划分算法，而实际的并行计算系统中，计算节点的计算能力及带宽等不尽相同，使得均衡划分效果并不理想。而已有的非均衡划分算法片面地依据各子图在顶点规模、连接边规模、任务负载、处理时间等多种测度中的某一测度下测度值，忽视了相异的一般情况。流式划分算法也不尽完善，适用范围有限。此外，无论是均衡、非均衡划分、还是流式划分都没有考虑针对图数据的应用情况，即图算法负载情况，因此不能较好地支持图数据分析的实际应用情况。

发明内容

本发明的目的就是为了克服上述现有技术图划分算法仅考虑顶点、边等信息，没有考虑针对图所使用的算法，进而没有考虑到应用任务及任务负载的问题，并且均衡划分效果不理想的缺陷而提供一种基于图算法负载的图大数据流式划分方法。

本发明的目的可以通过以下技术方案来实现：

一种基于图算法负载的图大数据流式划分方法，该方法包括以下步骤：

数据加载与初始化步骤：加载图大数据，初始化子图；

度量测度选取与计算步骤：根据图大数据并行处理的目标，计算各子图的期望测度值；

启发式规则选取步骤：在预先制定的启发式规则集合中，根据划分需求，选取启发式规则；

子图划分步骤：通过图大数据处理系统，计算图大数据各顶点的预置位置，进行子图的划分，所述预置位置基于各子图的期望测度值和启发式规则计算。

进一步地，本发明提出图与子图任务负载及处理时间的度量方法，所述度量测度选取与计算步骤具体为，若图大数据并行处理的目标是提高任务的完成时间，则根据第一测度计算式计算期望测度值；若图大数据并行处理的目标是提升系统资源利用率，则根据第二测度计算式计算期望测度值。

进一步地，所述第一测度计算式为：

Rand_E(G_i，L，A)＝ξ_iLoad(G_i，L，A)