[发明专利]数据同步方法、设备、介质及产品

说明书

本申请实施例提供了一种数据同步方法、设备、介质及产品，旨在提高数据同步的效率，所述方法包括：在进行本次数据同步的过程中，当前进行数据同步的当前数据节点检测其对应的下一跳数据节点是否为异常数据节点；若是，所述当前数据节点将本次需要进行同步的同步数据同步给其需要同步的其他数据节点，以实现除所述异常数据节点外其余数据节点之间的本次数据同步，以及所述当前数据节点缓存在本次同步结束后得到的第一同步数据，以在下一数据同步的过程中将所述第一同步数据同步给异常数据节点；异常数据节点缓存其本次需要进行同步的第二同步数据，并在下一次数据同步的过程中将第二同步数据同步给除异常数据节点外剩余的所有数据节点。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据同步方法、设备、介质及产品。

背景技术

分布式的数据同步是指：存在需要进行数据同步的多个数据节点，不同的数据节点需要同步的数据不同，实际中又需要每个数据节点获得其他所有数据节点上的数据，从而使得同步后每个数据节点上的数据都是一致的，也就是说，每个数据节点都获得了其他所有数据节点的数据。其中，每个数据节点均获得其他所有数据节点上的数据的过程可以称为一次数据同步。

一般而言，分布式的数据同步可以应用于神经网络模型的分布式训练中，当然，也可以应用于其他需要数据同步的场景中。

相关技术中，在分布式的数据同步中，各个数据节点的通信效率不同，一次数据同步所花费的总时间，往往是与通信效率最慢的数据节点有关。例如，有10个数据节点需要数据同步，即便其中9个数据节点花费了10秒都完成各自的数据同步，但是还剩余1个数据节点未完成，也需要等到该剩余的1个数据节点完成同步后才能成功实现一次数据同步，假设剩余的这个数据节点花费了1分钟才完成数据同步，则一次数据同步所花费的时长是1分钟。

因而，亟待一种可以提高数据同步效率的技术方案。

发明内容

鉴于上述问题，提出了本申请实施例的一种数据同步方法、设备、介质及产品，以便克服上述问题或者至少部分地解决上述问题。

为了解决上述问题，本申请的第一方面，公开了一种数据同步方法，所述方法包括：

在进行本次数据同步的过程中，当前进行数据同步的当前数据节点检测其对应的下一跳数据节点是否为异常数据节点；

若是，所述当前数据节点将本次需要进行同步的同步数据同步给其需要同步的其他数据节点，以实现除所述异常数据节点外其余数据节点之间的本次数据同步，以及所述当前数据节点缓存在本次同步结束后得到的第一同步数据，以在下一数据同步的过程中将所述第一同步数据同步给所述异常数据节点；

所述异常数据节点缓存其本次需要进行同步的第二同步数据，并在下一次数据同步的过程中将所述第二同步数据同步给除所述异常数据节点外剩余的所有数据节点。

可选的，所述方法还包括：

在进行下一次数据同步时，所述当前数据节点获取其所对应的下一次待同步数据，并将所述第一同步数据和所述下一次待同步数据同步给所述异常数据节点。

可选的，通过如下步骤确定所述第一同步数据：

所述当前数据节点检测自身在上一次数据同步的过程中是否发生异常；

若是，则将自身在上一次数据同步过程中缓存的数据和本次同步结束后同步到的数据确定为所述第一同步数据；

若否，则将本次同步结束后同步到的数据确定为所述第一同步数据。

可选的，所述当前进行数据同步的当前数据节点检测其对应的下一跳数据节点是否为异常数据节点，包括：

所述当前数据节点检测自身的本次待同步数据是否是首次发送；