[发明专利]数据复制方法、装置及存储介质

说明书

本申请公开了一种数据复制方法、装置及存储介质，属于数据处理领域。该方法应用于数据复制系统，该数据复制系统包括客户端和N个节点，该方法包括：该N个节点中的第i个节点接收该客户端并行发送的N个数据片段中的第i个数据片段，该N个数据片段是该客户端根据该N个节点对待发送的目标请求数据进行切分得到；将该第i个数据片段并行发送给其他节点，并接收该其他节点分别发送的其他数据片段；对该第i个数据片段和该其他数据片段进行存储，以完成该目标请求数据的复制。本申请可以提高数据复制效率和系统性能，并可以避免Leader节点成为性能瓶颈的问题。

技术领域

本申请涉及数据处理领域，特别涉及一种数据复制方法、装置及存储介质。

背景技术

数据复制是一种数据冗余备份方法，可以在业务运行过程中通过在多个节点备份数据，当某个节点发生故障时，将该节点的业务切换至其他节点，以通过其他节点继续接管业务，来保证系统的可靠性和可用性。数据复制方法具体应用于数据复制系统中，该数据复制系统包括客户端和多个节点，客户端用于发送请求数据，该多个节点用于对该客户端发送的请求数据进行复制。

目前，最常用的数据复制方法是主从复制方法，在主从复制方法中，对于数据复制系统包括的多个节点，可以预先将该多个节点中的某个节点设置为主端(Leader)节点，并将其他节点设置为备机端(Follower)节点。数据复制过程中，客户端可以先将请求数据发送给Leader节点，以便Leader节点将接收到的请求数据写入到分区文件中。各个Follower节点在Leader节点将请求数据写入到分区文件之后，才能从Leader节点中拉取该请求数据，并将该请求数据写入到自身的分区文件中，写入成功之后可以向Leader节点发送写入成功响应。当Leader节点接收到该多个节点中的所有Follower节点发送的写入成功响应之后，即可确认该请求数据复制成功。

主从复制方法中，由于需要先通过Leader节点对请求数据进行复制，再等待各个Follower节点分别对请求数据进行复制，因此复制效率较低，性能较差。而且，由于所有请求数据的复制都需要先经过Leader节点，因此当数据量超过Leader节点的承受能力时，Leader节点将成为数据复制的瓶颈。

发明内容

本申请提供了一种数据复制方法、装置及存储介质，可以用于解决相关技术中存在的复制效率低，系统性能差，以及Leader节点的瓶颈问题。所述技术方案如下：

第一方面，提供了一种数据复制方法，所述方法应用于数据复制系统，所述数据复制系统包括客户端和N个节点，所述方法包括：

所述N个节点中的第i个节点接收所述客户端并行发送的N个数据片段中的第i个数据片段，所述N个数据片段是所述客户端根据所述N个节点对待发送的目标请求数据进行切分得到，所述i大于或等于1且小于或等于所述N，所述N为正整数；

本申请实施例中，客户端可以将待发送的目标请求数据根据数据复制系统包括的节点数据进行切分，然后将切分得到的N个数据片段并行发送给数据复制系统包括的N个节点。对于该N个节点中的第i个节点，该第i个节点可以接收该N个数据片段中的第i个数据片段，然后将该第i个数据片段并行发送给其他节点，并接收其他节点分别发送的其他数据片段，之后可以通过对该第i个数据片段和其他数据片段进行存储，完成目标请求数据的复制。

通过将数据片段进行切分后并行发送给各个节点，各个节点接收到对应的数据片段之后再相互进行复制，如此可以提高数据复制效率，进而提高系统性能，而且由于所有请求数据的复制无需先经过Leader节点，因此可以避免Leader节点成为性能瓶颈的问题。

可选地，所述N个数据片段中的每个数据片段携带片段标识，所述片段标识是所述客户端对所述目标请求数据进行切分之后，在每个数据片段中添加得到，所述片段标识用于指示对应数据片段在所述目标请求数据中的位置；

所述第i个节点对所述第i个数据片段和所述其他数据片段进行存储，包括：