[发明专利]数据同步方法及装置

说明书

本申请提供一种数据同步方法及装置，该方法可以包括：获取消息队列发送的通知消息，所述通知消息用于表明所述消息队列中的目标消息队列主题存在新增数据；根据每个数据同步任务的输入配置信息，确定出匹配于所述目标消息队列主题的目标数据同步任务；在所述目标数据同步任务属于目标数据同步线程的情况下，通过目标数据同步线程执行所述目标数据同步任务，以从所述消息队列中抽取所述新增数据，并将所述新增数据同步到所述目标数据同步任务的输出配置信息所定义的目的数据表。通过本申请的技术方案，可以通过一个数据同步线程执行多个数据同步任务，提高数据同步工具中数据同步线程的利用率，节约线程资源。

技术领域

本申请涉及数据处理技术领域，特别是数据同步方法及装置。

背景技术

为了实现数据库之间的实时数据同步，通常需要将源端数据库中的数据发送到消息队列中进行缓存，由数据同步工具从消息队列中获取对应的数据，并加载到对应的目的数据表。

相关技术中，对应于消息队列中的每一个消息队列主题，数据同步工具都需要设置对应的数据同步线程，一个数据同步线程只能抽取一个消息队列主题中的数据。在所需同步的数据不是持续的数据流的情况下，数据同步线程的利用率较低，线程资源浪费较为严重。

发明内容

有鉴于此，本申请提供了数据同步方法及装置，用以实现两个数据端之间的数据同步。

具体的，本申请通过如下技术方案实现：

根据本申请的第一方面，提出了一种数据同步方法，应用于数据同步工具，所述数据同步工具运行有一个或多个数据同步线程，所述数据同步线程被配置有数据同步任务，所述数据同步任务的输入配置信息包括对应的消息队列主题的信息、输出配置信息包括对应的目的数据表的信息，包括：

获取消息队列发送的通知消息，所述通知消息用于表明所述消息队列中的目标消息队列主题存在新增数据；

根据每个数据同步任务的输入配置信息，确定出匹配于所述目标消息队列主题的目标数据同步任务；

在所述目标数据同步任务属于目标数据同步线程的情况下，通过目标数据同步线程执行所述目标数据同步任务，以从所述消息队列中抽取所述新增数据，并将所述新增数据同步到所述目标数据同步任务的输出配置信息所定义的目的数据表。

根据本申请的第二方面，提出了一种数据同步装置，应用于数据同步工具，所述数据同步工具运行有一个或多个数据同步线程，所述数据同步线程被配置有数据同步任务，所述数据同步任务的输入配置信息包括对应的消息队列主题的信息、输出配置信息包括对应的目的数据表的信息，包括：

消息获取单元，用于获取消息队列发送的通知消息，所述通知消息用于表明所述消息队列中的目标消息队列主题存在新增数据；

任务确定单元，用于根据每个数据同步任务的输入配置信息，确定出匹配于所述目标消息队列主题的目标数据同步任务；

任务执行单元，用于在所述目标数据同步任务属于目标数据同步线程的情况下，通过目标数据同步线程执行所述目标数据同步任务，以从所述消息队列中抽取所述新增数据，并将所述新增数据同步到所述目标数据同步任务的输出配置信息所定义的目的数据表。

根据本申请的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如上述第一方面的实施例中所述的方法。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述第一方面的实施例中所述方法的步骤。