[发明专利]基于大数据的集群数据同步方法、装置、设备及存储介质

权利要求书

1.一种基于大数据的集群数据同步方法，其特征在于，包括：

接收数据导入指令，所述数据导入指令用于将第一集群中的待同步数据同步至第二集群；

响应于所述数据导入指令，获取所述第一集群中的待同步数据，对所述待同步数据执行数据转换，以将所述待同步数据转换为匹配所述第二集群中存储结构的待同步数据；

建立多条并行通信线程和任务监控表，基于所述多条并行通信线程将转换后的所述待同步数据同步至所述第二集群中，并基于所述任务监控表实时记录数据的同步状态。

2.根据权利要求1所述的基于大数据的集群数据同步方法，其特征在于，所述接收数据导入指令的步骤之后，所述方法还包括步骤：

判断所述数据导入指令是否为第一次从所述第一集群中将数据同步至所述第二集群；

若是，将所述第一集群中的全量数据作为所述待同步数据；

若否，则将所述第一集群中的增量数据作为所述待同步数据。

3.根据权利要求2所述的基于大数据的集群数据同步方法，其特征在于，所述判断所述数据导入指令是否为第一次从所述第一集群中将数据同步至所述第二集群的步骤还包括：

获取所述数据导入指令中的时间戳，根据所述时间戳判断所述数据导入指令是否为第一次从所述第一集群中将数据同步至所述第二集群；

当确认所述数据导入指令非第一次从所述第一集群中将数据同步至所述第二集群时，检测所述时间戳之前的所述第一集群中的数据是否有更新；

若有更新，将所述更新的数据与所述时间戳之后的新增数据共同记为所述增量数据。

4.根据权利要求1所述的基于大数据的集群数据同步方法，其特征在于，所述获取所述第一集群中的待同步数据的步骤之后，所述方法还包括步骤：

在所述第一集群中对所述待同步数据执行数据分区，以将所述待同步数据存储在通过数据分区划分出的多个分区中。

5.根据权利要求1所述的基于大数据的集群数据同步方法，其特征在于，所述对所述待同步数据执行数据转换的步骤包括：

获取所述第二集群中数据记录表的行键和列簇，基于所述行键和列簇的存储结构重建所述第一集群中的待同步数据。

6.根据权利要求5所述的基于大数据的集群数据同步方法，其特征在于，所述对所述待同步数据执行数据转换，以将所述待同步数据转换为匹配所述第二集群中存储结构的待同步数据的步骤之后，所述方法还包括步骤：

在所述第二集群中配置若干个空的预分区，基于获取的所述行键为每个预分区分别设置起始键值和终止键值，使所述行健的值均位于所述若干个空的预分区的最小起始键值与最大终止键值之间。

7.根据权利要求6所述的基于大数据的集群数据同步方法，其特征在于，所述对所述待同步数据执行数据转换的步骤还包括：

获取用户ID，通过MD5消息摘要算法对所述待同步数据执行散列处理生成MD5散列值，并截取所述MD5散列值的后n位数值与用户ID进行拼接以生成所述待同步数据的行键。

8.一种基于大数据的集群数据同步装置，其特征在于，包括：

指令接收模块，用于接收数据导入指令，所述数据导入指令用于将第一集群中的待同步数据同步至第二集群；

数据转换模块，用于响应于所述数据导入指令，获取所述第一集群中的待同步数据，对所述待同步数据执行数据转换，以将所述待同步数据转换为匹配所述第二集群中存储结构的待同步数据；

同步执行模块，用于建立多条并行通信线程和任务监控表，基于所述多条并行通信线程将转换后的所述待同步数据同步至所述第二集群中，并基于所述任务监控表实时记录数据的同步状态。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任意一项所述的基于大数据的集群数据同步方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的基于大数据的集群数据同步方法的步骤。