[发明专利]基于大数据的集群数据同步方法、装置、设备及存储介质

说明书

本申请实施例公开了一种基于大数据的集群数据同步方法、装置、设备及存储介质，涉及数据处理技术领域。该方法包括：接收数据导入指令；响应于数据导入指令，获取第一集群中的待同步数据，对待同步数据执行数据转换，以将待同步数据转换为匹配第二集群中存储结构的待同步数据；建立多条并行通信线程和任务监控表，将转换后的待同步数据同步至第二集群中，并实时记录数据的同步状态。所述方法可以对于不在同一系统架构下的集群之间的数据实现数据同步，通过数据转换、设置并行线程以及任务监控表的方式提升了同步的效率和稳定性，并能对任务状态、数据丢失和同步异常等数据进行实时跟踪，获取同步时反馈的数据状态。

技术领域

本申请实施例涉及数据处理技术领域，特别是一种基于大数据的集群数据同步方法、装置、设备及存储介质。

背景技术

随着信息时代的高速发展，整个社会正逐步进入“数字化”时代，这是一个信息爆炸的时代，全球数据持续以爆炸性速度增长，面对持续增长的海量数据对传统存储系统带来的新的挑战。在这个大背景下，消耗中央处理器最多的计算逐渐从提升软件本身性能方面转移到了信息处理方面，从而各大厂商不得不面临着极大地挑战—他们需要从TB(Terabyte，太字节)级乃至PB(Petabytes，拍字节)级的数据中挖掘出有用的信息，并对这些海量数据进行快捷高效的处理。而数据存储是数据管理工作的基石，所以如何进行大数据的存储并在不同的集群间对大数据的迁移是一个值得关注研究的问题。

现有技术中，针对大数据的同步方案大多为对于同一个系统架构下的集群之间进行的同步，缺乏对不同类型的集群之间的数据同步方案，且数据同步的方案中对集群数据安全的管控相对宽松，使用的计算引擎较慢，而且对海量数据集同步时的稳定性与性能均表现一般，对于同步的质量也没有有效的反馈。

发明内容

本申请实施例所要解决的技术问题是，提供一种基于大数据的集群数据同步方法、装置、设备及存储介质，能够对不同系统架构下的集群之间的数据实现数据同步，并及时获取同步时反馈的数据状态。

为了解决上述技术问题，本申请实施例所述的一种基于大数据的集群数据同步方法，采用了如下所述的技术方案：

一种基于大数据的集群数据同步方法，包括：

接收数据导入指令，所述数据导入指令用于将第一集群中的待同步数据同步至第二集群；

响应于所述数据导入指令，获取所述第一集群中的待同步数据，对所述待同步数据执行数据转换，以将所述待同步数据转换为匹配所述第二集群中存储结构的待同步数据；

建立多条并行通信线程和任务监控表，基于所述多条并行通信线程将转换后的所述待同步数据同步至所述第二集群中，并基于所述任务监控表实时记录数据的同步状态。

本申请实施例所述的基于大数据的集群数据同步方法，可以对于不在同一系统架构下的集群之间的数据实现数据同步，通过数据转换、设并行线程程以及任务监控表的方式提升了同步的效率和稳定性，并能对任务状态、数据丢失、同步异常等数据进行实时跟踪，获取同步时反馈的数据状态。

进一步的，所述的基于大数据的集群数据同步方法，所述接收数据导入指令的步骤之后，所述方法还包括步骤：

判断所述数据导入指令是否为第一次从所述第一集群中将数据同步至所述第二集群；

若是，将所述第一集群中的全量数据作为所述待同步数据；

若否，则将所述第一集群中的增量数据作为所述待同步数据。

进一步的，所述的基于大数据的集群数据同步方法，所述判断所述数据导入指令是否为第一次从所述第一集群中将数据同步至所述第二集群的步骤还包括：

获取所述数据导入指令中的时间戳，根据所述时间戳判断所述数据导入指令是否为第一次从所述第一集群中将数据同步至所述第二集群；