[发明专利]分布式并行图处理中基于P2P的动态容错方法及系统

说明书

本发明涉及一种分布式并行图处理中基于P2P的动态容错方法及系统。该方法包括：定义分布式图处理问题的数据单元，以确保动态容错时所恢复数据的完整性；将处理器节点组成环状结构，将输入的图数据划分成若干分区并将各分区分派到各处理器节点中，每个处理器节点把各自的数据单元生成副本备份在邻接处理器节点中；每个处理器节点执行完自身的数据单元后，以增量的方式更新其放置于相邻处理器节点中的副本；当某个处理器节点失效或因网络出错而离线时，指派其相邻节点利用数据副本替代原先的数据单元，完成相应运算，恢复图处理的正常执行。本发明能够使图处理运算从节点失效、网络出错等异常中恢复正常状态，保证运算的正确执行。

技术领域

本发明涉及计算机网络技术领域，具体涉及一种在开放、动态的网络环境下分布式并行图处理的动态容错的方法及系统。

背景技术

近年来，随着社交网络、协同网络等技术的普及和发展，互联网中的数据规模越来越大，这给分析这些数据带来了新的挑战。在社交网络、协同网络等场景中，数据之间可能存在关联，相关研究经常用图结构来对这些数据进行描述。图中的顶点记录数据自身属性，图中的边对应数据间的关联。这样，对网络数据的分析就转化成了图处理。然而，上述图结构常常具有百万、千万个顶点和数亿条边，这对普通计算机的内存造成很大压力。更严重的是，由于图处理过程将产生正比于图规模的数量的中间结果，这使得单机由于内存的限制难以对图进行正常计算。

因此，利用分布式集群对图进行并行处理便成为了当前网络图数据分析的主要方式。以Google提出的Pregel框架为典型代表，大部分图处理系统将图数据划分成多个子图(或称图分区)分派到若干机器中，对图数据进行并行计算。并行计算主要采用BSP(BulkSynchronous Processing)模型，即对图数据进行迭代运算。在每个迭代步中，图中每个顶点获取邻接顶点的消息，各自更新自身状态，并将新状态传播给邻接顶点。如图1所示，在迭代步之间，所有顶点的运算需要进行同步，当所有顶点完成当前迭代步的运算时，方可触发进入下一迭代步。当所有顶点均求得结果时，图处理计算完成。

在开放的网络环境下，分布式集群具有动态变化的特点，集群中的某些节点可能失效、连接集群的网络可能出错，这些异常情况将影响图处理作业的正常执行。因此，分布式并行图处理需要考虑在运算过程中的容错性。现有的图处理系统一般通过checkpoint机制实现容错。这种容错要求图处理在发现出错时，停止当前运算，重新从磁盘中加载最近一次的checkpoint数据，从该checkpoint所记录的迭代点重新进行运算。这种容错机制是静态的，且恢复代价也比较大，并不适用于开放的网络环境。

发明内容

本发明的目的是提供一种开放、动态网络环境下分布式并行图处理中基于P2P(Peer to Peer，对等计算/对等网络)的动态容错的方法，使得图处理运算能够从节点失效、网络出错等异常中恢复正常状态，保证运算的正确执行。

为实现上述目的，本发明采用如下技术方案：

一种分布式并行图处理中基于P2P的动态容错方法，其步骤包括：

1)定义分布式图处理问题的数据单元，以确保动态容错时所恢复数据的完整性；

2)将处理器节点组成环状结构，将输入的图数据划分成若干分区，并将各分区分派到各处理器节点中，每个处理器节点把各自的数据单元生成副本备份在邻接处理器节点中；

3)在运算的每一个迭代步中，每个处理器节点执行完自身的数据单元后，以增量的方式更新其放置于相邻处理器节点中的副本；

4)当某个处理器节点失效或因网络出错而离线时，指派其相邻节点利用数据副本替代原先的数据单元，完成相应运算，从而恢复图处理的正常执行。