[发明专利]基于分布式图处理网络的容错方法和设备

说明书

一种第一设备，包括：存储器，用于存储第一子图，所述第一子图是与分布式图处理网络相关联的分布式图的一部分；处理器，其耦合到所述存储器，并用于处理所述第一子图，以及以独立于所述分布式图处理网络中的第二设备的方式在第一迭代时间保存所述第一设备的第一执行状态的第一快照；以及发送器，其耦合到所述处理器，并用于将所述第一快照传输到所述第二设备或第三设备。

相关申请案交叉申请

本申请为2016年8月30日递交的申请号为PCT/CN2016/097377的PCT申请案的国家阶段申请。该PCT申请案是要求2016年6月6日递交的发明名称为“分布式图处理网络的容错(Fault tolerance in distributed graph processing networks)”的第15/174,356号美国非临时专利申请案的在先申请优先权，该PCT申请案进而要求Keval Vora等人于2015年9月4日递交的发明名称为“基于全局不一致检查点设置及恢复的容错(GloballyInconsistent Checkpointing and Recovery Based Fault Tolerance，GIFT)”的第62/214,733号美国临时申请案的在先申请优先权，这些在先申请的内容以引入的方式并入本文本中。

背景技术

在数据处理中，图是对单个实体以及这些实体之间关系的一种表征。图的各个顶点表示这些实体，而图的各条边表示这些关系。在图中表征数据可以简化对数据的处理并且使数据间的关系更加清楚。此外，图处理是一个成熟的领域，处理算法得到了很好的理解、发展和应用。然而，当图较大且有大量连接时，单一的设备或节点可能无法处理所有的数据。因此，可能需要多个节点在分布式图处理网络中处理图。这些节点可能位于存在多个节点彼此通信的数据中心或其它环境之中。

发明内容

当前的容错方法可能较慢，并且可能不允许异步处理。根据本发明的各种实施例，提供一种容错方法。所述容错方法实现了全局不一致检查点设置和异步最小恢复。所述实施例提供一种更快的设备故障恢复方法，降低了检查点设置过程中的波峰带宽利用率，实现了更快的检查点设置，并且能够对检查点频率进行微调。波峰带宽利用率的降低使得执行分布式图处理应用的设备能够同步地处理其它应用。针对其中设备具有不同可靠性保证及其它不同特性的异构分布式图处理网络，对检查点频率进行微调允许基于该些不同可靠性保证及其它不同特性进行检查点设置。

在一个实施例中，一种第一设备，包括：存储器，用于存储第一子图，所述第一子图是与分布式图处理网络相关联的分布式图的一部分；处理器，其耦合到所述存储器，并用于：处理所述第一子图；以及以独立于所述分布式图处理网络中的第二设备的方式在第一迭代时间保存所述第一设备的第一执行状态的第一快照；以及发送器，其耦合到所述处理器，并用于将所述第一快照向所述第二设备或第三设备发送。在一些实施例中，所述处理器还用于进一步以异步方式处理所述第一子图；所述第二设备是分布式图处理设备；所述第三设备是控制器；所述处理器还用于依据所述第一设备出现故障的频率来保存快照；所述处理器还用于以独立于第二设备的方式在第二迭代时间保存所述第一设备的第二执行状态的第二快照；所述处理器还用于以独立于第二设备的方式在第三迭代时间保存所述第一设备的第三执行状态的第三快照，以使得所述第一迭代时间与所述第二迭代时间之间的第一时间间隔不同于所述第二迭代时间与所述第三迭代时间之间的第二时间间隔；所述第二迭代时间保证了最大失效期的遵从性；所述第一设备还包括：接收器，用于接收指令以实现所述最大失效期。