[发明专利]数据同步方法、装置、系统和计算机可读存储介质

摘要

本发明提供了一种数据同步方法、装置、系统和计算机可读存储介质，其中，数据同步方法包括：响应于第二hadoop服务集群周期性发送的同步请求，解析同步请求中包含的第二hadoop服务集群中的备机操作记录；响应于同步请求确定第一hadoop服务集群的主机操作记录；确定备机操作记录与主机操作记录之间的偏移量；根据偏移量确定第一hadoop服务集群中更新的数据块和对应的映射表，根据映射表抓取更新的数据块并同步备份至第二hadoop服务集群。通过本发明的技术方案，提供了一种低延迟、高吞吐量和同步性的数据同步方案，提高了数据同步的可靠性和效率，有利于在hadoop服务集群宕机时及时实现无缝快速切换。

主权项

1.一种数据同步方法，适用于备份控制集群，所述备份控制集群连通于第一hadoop服务集群与第二hadoop服务集群之间的数据备份线路，其特征在于，所述数据同步方法包括：响应于所述第二hadoop服务集群周期性发送的同步请求，解析所述同步请求中包含的所述第二hadoop服务集群中的备机操作记录；响应于所述同步请求确定所述第一hadoop服务集群的主机操作记录；确定所述备机操作记录与所述主机操作记录之间的偏移量；根据所述偏移量确定所述第一hadoop服务集群中更新的数据块和对应的映射表，根据所述映射表抓取所述更新的数据块并同步备份至所述第二hadoop服务集群。