[发明专利]一种基于GRAPE框架的图算法并行加速方法和装置

说明书

本申请提供了一种基于GRAPE框架的图算法并行加速方法和装置，所述方法包括：获取PRAM模型的参数信息，并根据所述PRAM模型的参数信息构建生成目标模型；获取输入数据，并依据所述目标模型中的所述索引数组对所述输入数据进行运算，确定初始ID元组和内存访问元组；依据所述初始ID元组和所述输入数据进行增量运算，迭代运算直至所有工作节点均不再接收来自其他工作节点的参数信息时生成最终计算结果；获取所述最终计算结果内所有工作节点的计算结果，并依据所述所有工作节点的计算结果汇总生成所述运算结果；可以把串行的图算法迁移到GRAPE框架，并保证迁移后的算法加速比足够高。

技术领域

本申请涉及数据处理领域，特别是一种基于GRAPE框架的图算法并行加速方法和装置。

背景技术

分布式计算是一种重要的算法加速技术。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理，不同的计算机之间通过信道传递信息。这样可以节约整体计算时间，大大提高计算效率。目前已经有很多成熟的用于大规模数据集的分布式计算的编程框架，如MapReduce、Hadoop、Spark、GRAPE等等。其中，GRAPE框架是一种新的专门针对图数据的分布式计算框架。该计算框架由数据库领域著名科学家、英国皇家科学院院士樊文飞提出，相关工作获得了2016年数据库领域顶会SIGMOD的最佳论文奖，在国际上拥有巨大的影响力。

GRAPE框架是针对图数据的分布式计算框架。令Q为查询的集合，给定图G和某个查询Q∈Q，GRAPE框架计算结果为Q(G)。每个GRAPE框架所使用的节点包含两类，一个主节点P₀和若干个工作节点P₁,Λ,P_n。初始时，输入的图G被划分成n个部分，这n个部分分别存储在P₁,Λ,P_n上。在分布式计算中，往往假设这n个部分大小相似。

目前没有基于GRAPE框架的串行算法并行加速方案；虽然很多重要的图算法都存在着PRAM并行算法，但没有一种通用的方案，将PRAM算法迁移到GRAPE框架上。

发明内容

鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种基于GRAPE框架的图算法并行加速方法和一种基于GRAPE框架的图算法并行加速装置，所述方法包括：

获取PRAM模型的参数信息，并根据所述PRAM模型的参数信息构建生成目标模型，其中，所述目标模型包括索引数组、一个主节点和若干个工作节点，且工作节点数量小于或等于所述PRAM模型中的CPU的数量；具体地，所述参数信息至少包括CPU个数k、输入内存单元的大小l、额外内存单元的大小q、数据ID信息和PRAM模型执行信息；所述数据ID信息用于获取数据集内的数据对应的ID值；

获取输入数据，并依据所述目标模型中的所述索引数组对所述输入数据进行运算，确定初始ID元组和内存访问元组；其中，ID元组形式为步数编号，阶段，工作节点编号；内存访问元组形式为操作-段，地址，数据；

依据所述初始ID元组和所述输入数据进行增量运算，迭代运算直至所有工作节点均不再接收来自其他工作节点的参数信息时生成最终计算结果；具体地，依据所述初始ID元组的所述步数编号、所述阶段和所述工作节点编号在每一次增量运算时生成用于下一次增量运算的更新ID元组；

获取所述最终计算结果内所有工作节点的计算结果，并依据所述所有工作节点的计算结果汇总生成所述运算结果。

进一步地，所述获取PRAM模型的参数信息，并根据所述PRAM模型的参数信息构建生成目标模型，其中，所述目标模型包括索引数组、一个主节点和若干个工作节点，且工作节点数量小于或等于所述PRAM模型中的CPU的数量；具体地，所述参数信息至少包括CPU个数k、输入内存单元的大小l、额外内存单元的大小q、数据ID信息和PRAM模型执行信息；所述数据ID信息用于获取数据集内的数据对应的ID值的步骤，包括：