[发明专利]一种基于消息推送模式的跨地域数据同步方法

摘要

本发明提供了一种基于消息推送模式的跨地域数据同步方法，用于实现对不同数据中心的数据进行异地备份和恢复，属于海量数据管理领域。本方法在各数据中心配置集群内各数据中心消息组件部署的IP地址，采用推送方式来传输消息；针对不同的数据中心设置异地配置策略，设置需要同步的数据中心或数据中心的组合；底层传输采用HTTP协议和自定义序列化反序列化框架；最后基于消息组件实现数据的同步或更新、恢复以及移除，在实现时采用错误重试机制。本发明可实现消息的实时传递和处理，实现对一个点、多个点同时的数据推送、恢复和删除，确保更新、删除后的数据一致性，保证数据的跨地域同步的可靠性和安全性。

主权项

1.一种基于消息推送模式的跨地域数据同步方法，其特征在于，包括如下步骤：第一方面：在各数据中心配置集群内各数据中心消息组件部署的IP地址，采用推送方式来传输消息；所述的消息组件包括发送消息模块和接收消息模块，发送消息模块根据业务场景将消息发送到指定的数据中心，接收消息模块仅监听本地的消息；消息采用生产者‑消费者模型进行管理；第二方面：在数据中心设置异地配置策略；所述的异地配置策略是指针对不同的数据中心，设置需要同步的数据中心或数据中心的组合；每个数据中心，根据自身的异地配置策略，构造消息发送到需要同步的数据中心；第三方面：底层传输采用HTTP协议和自定义序列化反序列化框架；在底层数据传输前，使用自定义的序列化和反序列化组件对待传输的数据进行序列化操作，形成二进制数组；将二进制数组使用HTTP协议进行网络传输；在接收端使用相同的序列化和反序列化组件对待传输的数据进行反序列化操作，以获取传输的数据内容；第四方面：实现数据的同步、恢复或移除；(3.1)实现数据同步或者更新：标记源数据中心为A，数据中心A获取待同步的一条数据，根据自身的异地配置策略选择需要同步的数据中心，如果选中的数据中心不可用，则根据异地配置策略选择下一个可用的数据中心，然后构造消息Msg发送到要同步的数据中心；消息Msg表示为{key，center:from:A，type:newOrUpdate}，其中key为需要发送的数据唯一识别码，center:from表示数据来自哪个数据中心，type表示操作类型包括新增或更新，newOrUpdate表示新增或更新；目标数据中心通过接收消息模块接收到消息后，根据消息中指定的数据中心，使用拉取的方式将待同步数据下载到本地，然后通过发送消息模块将处理状态告知数据中心A；数据中心A接收到所有目标数据中心的返回状态后，标记本条数据完成同步，否则继续重试未返回状态消息的数据中心；(3.2)实现数据恢复：当某数据中心A获取本地数据key失败后，触发本地对损坏数据的恢复流程，将本地数据key对应的状态status修改成needRecovery，needRecovery表示需要恢复，本地的定时任务扫描本地status为needRecovery的数据，根据本地消息同步记录选择一个非本地的数据中心进行数据获取，将数据请求通过底层传输组件发送到所选择的数据中心，获取数据；将获得的数据写入本地数据中心，同时修改数据key对应的状态status为ok，ok表示数据正常；(3.3)实现数据删除：任何一个数据中心接收到数据key的删除请求后，触发跨地域的删除操作；首先，将本地的数据key对应的状态status修改成needDelete，needDelete表示需要删除，本地的定时任务扫描本地status为needDelete的数据，获取数据列表；根据本地消息同步记录选择所有记录的数据中心进行数据删除消息的构造；本地将删除消息发送到所有数据中心；各数据中心接收到删除消息后，将数据从本地数据中心删除，删除对应的元数据，并反馈消息给删除发起的数据中心；删除发起的数据中心等待所有数据中心的反馈消息，如果均完成，则完成删除，移除本地的元数据和对应的任务，如果有至少一个数据中心尚未发送完成消息，则继续等待，超过等待时间则进行重试。