[发明专利]一种数据复制方法及装置

说明书

本申请公开一种数据复制方法及装置，涉及数据处理领域，能够完成跨集群间的同步数据复制并保证数据复制提交时的原子一致性。该方法包括：第一主节点设备创建第一提案；将第一提案存储至同步队列，其中第一主节点设备和第二主节点设备属于不同的集群；第一主节点设备从同步队列读取第一提案并发送至第二主节点设备，以便第二主节点设备根据第一提案创建第二提案；第一主节点设备从同步队列读取第一提案并存储至第一老化队列；第一主节点设备接收第二主节点设备发送的同步成功指令，其中第二主节点设备将第二提案存储至第二老化队列，并生成同步成功指令；第一主节点设备根据同步成功指令将第一老化队列中的第一提案激活或者存入磁盘。

技术领域

本申请的实施例涉及数据处理领域，尤其涉及一种数据复制方法及装置。

背景技术

原子一致性是指针对数据固化情况时仅会反馈数据成功或者失败两种状态。当前消息传递一致性的相关软件中，一般是基于Paxos算法或其算法的增强。当前主要是采用一个集群中多数派选举的方法后，实现统一提交刷新来实现同一集群内的数据原子一致性。针对于多个消息集群(或者基于Key-value的集群)，如何完成跨集群间的同步数据复制并保证数据复制提交时的原子一致性，当前没有有效方案来实现的。

发明内容

本申请的实施例提供一种数据复制方法及装置，能够完成跨集群间的同步数据复制并保证数据复制提交时的原子一致性。

第一方面，提供一种数据复制方法，该方法包括：第一主节点设备创建第一提案；第一主节点设备确定将第一提案同步至第二主节点设备时，将第一提案存储至同步队列，其中第一主节点设备和所述第二主节点设备属于不同的集群；第一主节点设备从同步队列读取第一提案并发送至第二主节点设备，以便第二主节点设备根据第一提案创建第二提案；第一主节点设备从同步队列读取第一提案并存储至第一老化队列；第一主节点设备接收第二主节点设备发送的同步成功指令，其中第二主节点设备将第二提案存储至第二老化队列，并生成同步成功指令；第一主节点设备根据同步成功指令将第一老化队列中的第一提案激活或者存入磁盘。在上述方案中，第一主节点设备创建第一提案后，第一主节点设备在确定将第一提案同步至第二主节点设备时，首先将第一提案存储至同步队列，其中第一主节点设备和第二主节点设备属于不同的集群；第一主节点设备从同步队列读取第一提案并发送至第二主节点设备，第二主节点设备根据第一提案创建第二提案；第一主节点设备从同步队列读取第一提案并存储至第一老化队列；第二主节点设备将第二提案存储至第二老化队列，并生成同步成功指令，第一主节点设备接收第二主节点设备发送的同步成功指令；第一主节点设备只有在获取同步成功指令后才会进一步的根据同步成功指令将第一老化队列中的第一提案激活或者存入磁盘；同时第二主节点设备将第二老化队列中的第二提案激活或者存入磁盘，这样实现了跨集群的同步数据复制并保证了数据复制提交时的原子一致性。

在一种可能的设计中，第一主节点设备将第一提案激活后，还包括：第一主节点设备将同步队列以及第一老化队列中的第一提案删除。

在一种可能的设计中，所述第一提案包括数据对象；第一主节点设备将所述第一提案存储至同步队列之前，方法还包括：第一主节点设备为第一提案的数据对象添加元数据。其中，元数据包括老化参数；所述方法还包括：当确定当前时间满足所述老化参数时，若未收到同步成功指令，则生成同步错误信息。当第一主节点设备创建第三提案时，刷新所述第一提案对应的老化参数。元数据包括同步参数；在第一主节点设备接收所述第二主节点设备发送的同步成功指令之前，所述同步参数为未同步；在第一主节点设备接收所述第二主节点设备发送的同步成功指令之后，所述方法还包括：将同步参数修改为已同步。元数据包括第一提案所属集群的标识。由于第一提案存储至同步队列时会对其数据对象添加元数据，因此可以根据元数据判断哪个集群带有最新数据，在集群之间发生通信故障时则可以将带有最新数据的集群作为唯一存活的集群，另一集群终止操作。这样，在带有最新数据的集群中查看老化队列，删除不是该集群且未同步的数据，在另一集群中对于老化队列中删除不是未同步的数据，这样在通信恢复后可以重新进行数据复制操作，避免未复制成功的数据占用资源。