[发明专利]数据同步方法、数据同步系统及其装置、介质和系统

权利要求书

1.一种数据同步方法，其特征在于，所述方法包括：

获取源特征数据；

对所述源特征数据进行切分，获得多个分片数据，并将所述多个分片数据以一一对应的方式存储于分布式存储系统的多个分布式数据节点中；

建立与所述多个分布式数据节点一一对应的多个副本集，所述副本集用于对所述副本集所属的所述分布式数据节点中存储的数据进行备份，其中每个所述副本集包括一主节点和至少一从节点，所述主节点和所述从节点用于对与其所属副本集对应的所述分布式数据节点中存储的所述分片数据进行备份，获得对应于所述主节点的主备份数据和对应于所述从节点的从备份数据；

对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据；

在至少一个所述从节点中建立与多个所述子分片数据一一对应的多个同步器，当所述主备份数据的至少一个所述子分片数据变化时，通过与所述子分片数据对应的所述同步器来同步所述从备份中与所述子分片数据对应的数据。

2.根据权利要求1所述的数据同步方法，其特征在于，所述将所述多个分片数据一一对应存储于分布式存储系统的多个分布式数据节点，包括：

将所述多个分片数据一一对应存储于分布式存储系统的多个分布式数据节点的MongoDB数据库中。

3.根据权利要求2所述的数据同步方法，其特征在于，所述通过与所述子分片数据对应的所述同步器同步所述从备份中与所述子分片数据对应的数据，包括：

获取与所述子分片数据对应的操作日志；

通过与所述子分片数据对应的所述同步器获取的操作日志来同步所述从备份中与所述子分片数据对应的数据。

4.根据权利要求1所述的数据同步方法，其特征在于，对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据，包括：

基于所述主节点的内存的大小对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据。

5.根据权利要求4所述的数据同步方法，其特征在于，所述子分片数据的大小等于所述主节点的内存的大小/500。

6.一种数据同步系统，其特征在于，包括：

客户端、分布式存储系统及分布式计算系统，其中，

所述分布式存储系统包括多个分布式数据节点，用于存储多个分片数据；

所述客户端，用于获取源特征数据；以及

所述分布式计算系统包括多个与所述分布式数据节点一一对应的计算节点；

各个所述计算节点，包括：

第一切分模块，用于对所述源特征数据进行切分，获得多个分片数据，并将所述多个分片数据以一一对应的方式存储于分布式存储系统的多个分布式数据节点中；

副本集建立模块，用于建立与所述多个分布式数据节点一一对应的多个副本集，所述副本集用于对所述副本集所属的所述分布式数据节点中存储的数据进行备份，其中每个所述副本集包括一主节点和至少一从节点，所述主节点和所述从节点用于对与其所属副本集对应的所述分布式数据节点中存储的所述分片数据进行备份，获得对应于所述主节点的主备份数据和对应于所述从节点的从备份数据；

第二切分模块，用于对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据；

数据同步模块，用于在至少一个所述从节点中建立与多个所述子分片数据一一对应的多个同步器，当所述主备份数据的至少一个所述子分片数据变化时，通过与所述子分片数据对应的所述同步器来同步所述从备份中与所述子分片数据对应的数据。

7.根据权利要求6所述的数据同步系统，其特征在于，所述第一切分模块通过以下方式将所述多个分片数据一一对应存储于分布式存储系统的多个分布式数据节点：

将所述多个分片数据一一对应存储于分布式存储系统的多个分布式数据节点的MongoDB数据库中。