[发明专利]数据同步方法、数据同步系统及其装置、介质和系统

说明书

本申请涉及计算机视觉技术领域，公开了一种数据同步方法、数据同步系统及其装置、介质和系统。数据同步方法包括：获取源特征数据；对源特征数据进行切分，获得多个分片数据，并将多个分片数据以一一对应的方式存储于分布式存储系统的多个分布式数据节点中；建立与多个分布式数据节点一一对应的多个副本集，其中每个副本集包括一主节点和至少一从节点，主节点和从节点用于对与其所属副本集对应的分布式数据节点中存储的分片数据进行备份，获得主备份数据和从备份数据；对至少一个副本集的主节点中的主备份数据进行切分，获得多个子分片数据；在至少一个从节点中建立与多个子分片数据一一对应的多个同步器，通过同步器来同步从备份中对应的数据。

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种数据同步方法、数据同步系统及其装置、介质和系统。

背景技术

今年来，随着存储技术的发展，易于扩展且成本低的分布式存储方法受到广泛关注。考虑到单个存储节点出现故障时系统数据的可靠性问题，通常，一份数据会在多个存储节点上存储。目前分布式存储系统在存储多副本的情况下，针对多副本写入，采用多写的形式，可能会有部分写入失败导致数据不一致，因此需要采用两阶段提交等方式，复杂度高，效率较低。

发明内容

本申请实施例提供了一种数据同步方法、数据同步系统及其装置、介质和系统。

第一方面，本申请实施例提供了一种数据同步方法，包括：获取源特征数据；对所述源特征数据进行切分，获得多个分片数据，并将所述多个分片数据以一一对应的方式存储于分布式存储系统的多个分布式数据节点中；建立与所述多个分布式数据节点一一对应的多个副本集，其中每个所述副本集包括一主节点和至少一从节点，所述主节点和所述从节点用于对与其所属副本集对应的所述分布式数据节点中存储的所述分片数据进行备份，获得对应于所述主节点的主备份数据和对应于所述从节点的从备份数据；对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据；在至少一个所述从节点中建立与多个所述子分片数据一一对应的多个同步器，当所述主备份数据的至少一个所述子分片数据变化时，通过与所述子分片数据对应的所述同步器来同步所述从备份中与所述子分片数据对应的数据。

在上述第一方面的一种可能的实现中，上述方法还包括：所述将所述多个分片数据一一对应存储于分布式存储系统的多个分布式数据节点，包括：

将所述多个分片数据一一对应存储于分布式存储系统的多个分布式数据节点的MongoDB数据库中。

在上述第一方面的一种可能的实现中，上述方法还包括：所述通过与所述子分片数据对应的所述同步器同步所述从备份中与所述子分片数据对应的数据，包括：

获取与所述子分片数据对应的操作日志；

通过与所述子分片数据对应的所述同步器获取的操作日志来同步所述从备份中与所述子分片数据对应的数据。

在上述第一方面的一种可能的实现中，上述方法还包括：对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据，包括：

基于所述主节点的内存的大小对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据。

在上述第一方面的一种可能的实现中，上述方法还包括：所述子分片数据的大小等于所述主节点的内存的大小/500。

第二方面，本申请实施例提供了一种数据同步系统，包括：

客户端、分布式存储系统及分布式计算系统，其中，

所述分布式存储系统包括多个分布式数据节点，用于存储多个分片数据；

所述客户端，用于获取源特征数据；以及

所述分布式计算系统包括多个与所述分布式数据节点一一对应的计算节点；

各个所述计算节点，包括