[发明专利]数据同步方法、装置、计算机设备和可读存储介质

说明书

本申请涉及一种数据同步方法、装置、计算机设备和可读存储介质，其中，该数据同步方法包括：获取同步任务执行指令，并基于同步任务执行指令获取同步任务信息，同步任务信息包括同步任务时间信息和同步任务配置信息；基于同步任务信息确定目标节点信息，目标节点信息包括多个目标分布式处理节点以及每一目标分布式处理节点的节点名称；将同步任务信息和目标节点信息发送至多个目标分布式处理节点，以使多个目标分布式处理节点获取增量数据，并将增量数据同步存储至目标数据库中。通过本申请，解决了相关技术中无法高效地实现数据增量同步的问题。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据同步方法、装置、计算机设备和可读存储介质。

背景技术

用户使用APP的过程中，会产生大量的用户日志数据，例如用户下单数据、用户浏览数据以及用户的个人信息等。后台系统通常需要对这些用户日志数据进行收集及分析，以实现对APP的优化，从而为用户提供更优质的服务。后台系统可以直接拉取用户使用APP的过程中产生的日志数据，以实现对用户使用环境的分析优化。但是，当后台系统拉取频率过高的情况下，容易对用户使用环境造成影响。

在相关技术中，在只进行增量数据同步的情况下，可以降低日志数据拉取对用户使用环境的影响。然而，现有的异构数据源离线同步工具datax本身无法实现数据的增量同步，且只有单机版，只能通过单台设备进行数据同步处理，从而导致数据同步效率低，无法满足大批量的用户使用数据的同步处理需求。

目前针对相关技术中，无法高效地实现数据增量同步的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据同步方法、装置、计算机设备和可读存储介质，以至少解决相关技术中无法高效地实现数据增量同步的问题。

第一方面，本申请实施例提供了一种数据同步方法，所述方法包括：

获取同步任务执行指令，并基于所述同步任务执行指令获取同步任务信息，所述同步任务信息包括同步任务时间信息和同步任务配置信息；

基于所述同步任务信息确定目标节点信息，所述目标节点信息包括多个目标分布式处理节点以及每一所述目标分布式处理节点的节点名称；

将所述同步任务信息和所述目标节点信息发送至多个所述目标分布式处理节点，以使多个所述目标分布式处理节点获取增量数据，并将所述增量数据同步存储至目标数据库中。

在其中一些实施例中，所述将所述同步任务信息和所述目标节点信息发送至多个所述目标分布式处理节点，以使多个所述目标分布式处理节点获取增量数据，并将所述增量数据同步存储至目标数据库中包括：

将所述同步任务信息和所述目标节点信息发送至多个所述目标分布式处理节点，以使每一所述目标分布式处理节点获取对应的目标同步标识值子区间，基于所述目标同步标识值子区间从源数据库中获取目标增量数据，并将所述目标增量数据同步存储至所述目标数据库中。

在其中一些实施例中，所述目标同步标识值子区间基于所述目标分布式处理节点对同步任务对应的同步标识值区间进行切割处理得到，所述同步标识值区间包括初始同步标识值和最大同步标识值。

在其中一些实施例中，所述方法还包括：

获取每一所述目标分布式处理节点对应的同步任务执行状态；

若所有所述目标分布式处理节点对应的同步任务执行状态均为已完成，则获取本次同步任务对应的预选同步标识值；

将所述预选同步标识值作为本次同步任务对应的终止同步标识值，所述预选同步标识值表示本次同步任务对应的最大同步标识值；

将本次同步任务对应的终止同步标识值存储为下次同步任务对应的初始同步标识值。

在其中一些实施例中，所述方法还包括：