[发明专利]图形计算的并行化

说明书

一种用于异步并行化图形计算的方法，该方法包括：在多个工作机上分发多个片段，以使每个工作机具有至少一个本地片段，所述多个片段是通过对一图形进行分割而获得，每个片段是该图形的一子图；通过每个工作机使用预定义的顺序批处理算法计算其至少一个本地片段的每个片段上部分结果；由每个工作机基于一个或更多个更新消息使用预定义的顺序增量算法迭代地计算其至少一个本地片段中每个片段的更新的部分结果，直到满足终止条件为止，其中从一个或更多个其它工作机分别接收一个或更多个更新消息，并将所述一个或更多个更新消息分别存储在各自的缓冲区中；其中允许每个工作机根据其延迟延展来决定何时执行下一轮计算，并且其中所述工作机在执行下一轮计算之前，暂停由所述延迟延展指示的时间，所述延迟延展可以根据每个工作机相对于其他工作机的相对计算进度进行动态调整。一些实施例可以具有减少落后者和延时计算的效果。

技术领域

以下公开内容涉及图形计算的并行化。

背景技术

用于图形计算已有几个并行模型。图形系统已采用批量同步并行(BSP)模型。在BSP下，迭代计算被分为多个超步(superstep)，而来自一个超步的消息只能在下一个超步中访问。这导致了落后者(straggler)，即，一些工作机(worker)比其他工作机花费更长的时间。随着多个工作机的不对称收敛，每个超步的速度都被限制在最慢的工作机的速度。为了减少落后者，采用了异步并行(AP)模型。在AP下，工作机可以立即访问消息。快速的工作机可以走在前面，而不必等待落后者。但是，AP可能会导致过多的延迟计算，例如由消息触发的进程，这些消息由于最新消息而很快变得过时。为了纠正这些问题，已经研究了BSP和AP的修订版，特别是延迟同步并行(SSP)模型。SSP通过允许最快的工作机以固定的步数(有界延迟，bounded staleness)超过最慢的工作机，来缓解BSP。它减少了落后者，但导致了多余的延迟计算。

发明内容

在一个方面，提供了一种用于异步并行化图形计算的方法。该方法包括：在多个工作机上分发多个片段，以使每个工作机具有至少一个本地片段，所述多个片段是通过对一图形进行分割而获得，每个片段是该图形的一子图；通过每个工作机使用预定义的顺序批处理算法计算其至少一个本地片段的每个片段上部分结果；

由每个工作机基于一个或更多个更新消息使用预定义的顺序增量算法迭代地计算其至少一个本地片段中每个片段的更新的部分结果，直到满足终止条件为止，其中从一个或更多个其它工作机分别接收一个或更多个更新消息，并将所述一个或更多个更新消息分别存储在各自的缓冲区中；

允许每个工作机根据其延迟延展来决定何时执行下一轮计算，并且其中所述工作机在执行下一轮计算之前，暂停由所述延迟延展指示的时间，所述延迟延展可以根据每个工作机相对于其他工作机的相对计算进度进行动态调整。

也可以包括以下一项或多项功能。

通过来自以下组的一个或更多个参数来调整每个工作机的延迟延展：存储在相应缓冲器中的更新消息的数量，从其中接收一个或更多个更新消息的一个或更多个其他工作机的数量，在所有工作机上执行最小和最大的轮次、运行时间预测、查询日志以及从所有工作机收集的其他统计信息。当工作机在延迟延展期间暂停时，将其资源分配给一个或更多个其他工作机。

当每个工作机在其当前轮次计算之后没有存储在相应缓冲器中的更新消息时，该工作机向主机发送非活动的标志；当从所有工作机接收到非活动时，所述主机向所有工作机广播终止消息；响应于所述终止消息，当每个工作机处于非活动状态时，其以“确认”做出响应，或者当其处于活动状态或在队列中以进行下一轮计算时，以“等待”做出响应；在从所有工作机接收到“确认”之后，所述主机从所有工作机拉出所述更新的部分结果，并且将预定义的集合函数应用于所述更新的部分结果。

所述预定义的顺序增量算法是单调的。

所述更新消息基于各自的部分结果，并且由预定义的更新参数来定义。