[发明专利]基于大规模图数据集获取PageRank的方法及装置

权利要求书

1.一种基于大规模图数据集获取PageRank的方法，其特征在于，包括：

S1，初始化graph；

S2，基于上一轮计算得到的graph进行各节点的PageRank值的计算，得到new graph；

S3，判断迭代是否完成，如果迭代完成，则执行S8，如果迭代未完成，则执行S4；

S4，释放上一轮graph缓存；

S5，判断总迭代次数是否能够被可配置参数整除，其中，所述可配置参数为迭代写入轮数，如果所述总迭代次数不能被所述可配置参数整除，则执行S6；如果所述总迭代次数能被所述可配置参数整除，则执行S7；

S6，将当前new graph进行缓存，返回执行S2；

S7，将当前new graph写入磁盘，返回执行S2；

S8，保存计算结果；

所述步骤S5，具体包括：判断是否将graph写入磁盘，其中N为总迭代次数，n为可配置参数，n可根据实际计算情况进行调整，Spark处理Rdd时，每一个子Rdd都有一个可追溯的父Rdd，通过限制迭代次数，每n轮迭代保存一次结果，切断子Rdd和父Rdd的联系，将切断联系的资源释放出来用于计算任务。

2.根据权利要求1所述的方法，其特征在于，所述初始化graph包括：

初始化新的graph；或者加载旧的graph。

3.根据权利要求1所述的方法，其特征在于，所述n满足t＝n+1/n，且整除N，其中，t为总计算时间。

4.根据权利要求3所述的方法，其特征在于，所述n设置为奇数或者所述n设置为偶数。

5.根据权利要求4所述的方法，其特征在于，所述n为5。

6.一种基于大规模图数据集获取PageRank的装置，其特征在于，包括：

初始化模块，用于初始化graph；

计算模块，用于基于上一轮计算得到的graph进行各节点的PageRank值的计算，得到new graph；

第一判断模块，用于判断迭代是否完成，如果迭代完成，则通知存储模块，如果迭代未完成，则通知释放模块；

所述释放模块，用于释放上一轮graph缓存；

第二判断模块，用于判断总迭代次数是否能够被可配置参数整除，其中，所述可配置参数为迭代写入轮数，如果所述总迭代次数不能被所述可配置参数整除，则通知缓存模块；如果所述总迭代次数能被所述可配置参数整除，则通知写入模块；

所述缓存模块，用于将当前new graph进行缓存，通知所述计算模块；

所述写入模块，用于将当前new graph写入磁盘，通知所述计算模块；

所述存储模块，用于保存计算结果；

其中：

所述第二判断模块，具体用于判断是否将graph写入磁盘，其中N为总迭代次数，n为可配置参数，n可根据实际计算情况进行调整，Spark处理Rdd时，每一个子Rdd都有一个可追溯的父Rdd，通过限制迭代次数，每n轮迭代保存一次结果，切断子Rdd和父Rdd的联系，将切断联系的资源释放出来用于计算任务。

7.根据权利要求6所述的装置，其特征在于，所述初始化模块通过如下方式初始化graph：

所述初始化模块，具体用于初始化新的graph；或者加载旧的graph。

8.根据权利要求6所述的装置，其特征在于，所述n满足t＝n+1/n，且整除N，其中，t为总计算时间。

9.根据权利要求8所述的装置，其特征在于，所述n设置为奇数或者所述n设置为偶数。

10.根据权利要求9所述的装置，其特征在于，所述n为5。