[发明专利]分布式并行图处理中基于P2P的动态容错方法及系统

摘要

本发明涉及一种分布式并行图处理中基于P2P的动态容错方法及系统。该方法包括：定义分布式图处理问题的数据单元，以确保动态容错时所恢复数据的完整性；将处理器节点组成环状结构，将输入的图数据划分成若干分区并将各分区分派到各处理器节点中，每个处理器节点把各自的数据单元生成副本备份在邻接处理器节点中；每个处理器节点执行完自身的数据单元后，以增量的方式更新其放置于相邻处理器节点中的副本；当某个处理器节点失效或因网络出错而离线时，指派其相邻节点利用数据副本替代原先的数据单元，完成相应运算，恢复图处理的正常执行。本发明能够使图处理运算从节点失效、网络出错等异常中恢复正常状态，保证运算的正确执行。

主权项

1.一种分布式并行图处理中基于P2P的动态容错方法，其步骤包括：1)定义分布式图处理问题的数据单元，以确保动态容错时所恢复数据的完整性；所述数据单元为二元组(Pj,InMsg(Pj))，其中，Pj为由图结构划分成的某一图分区，即某一子图；InMsg(Pj)为子图Pj包含的所有顶点在某一迭代步所收到的消息集合，在运算初始时，InMsg(Pj)为空集；1≤j≤m，m为对图进行分区后分区的数量；2)将处理器节点编号并组成环状结构，按照数据单元的定义将输入的图数据划分成若干分区，并将各分区分派到各处理器节点中，每个处理器节点把各自的数据单元生成副本备份在编号相邻的两个处理器节点中；所述副本不保存于磁盘中，而是记录于内存中；3)在运算的每一个迭代步中，每个处理器节点执行完自身的数据单元后，以增量的方式更新其放置于相邻处理器节点中的副本，每次对副本中图分区状态的更新只传输发生变化的部分，相邻处理器节点将变化的部分累加到数据单元副本中，实现副本中图分区状态的更新；在图处理的每一个迭代步中，每个顶点首先处理在上一次迭代步所收到的消息集，并根据这些消息更新自己的状态，再向邻接顶点传播自己的新状态；同一顶点在不同迭代步之间的消息不需要累积，当某一迭代步已计算出顶点的更新值后，在该迭代步之前所收到的消息都不再需要；4)当某个处理器节点失效或因网络出错而离线时，指派其相邻节点利用数据副本替代原先的数据单元，完成相应运算，从而恢复图处理的正常执行。