[发明专利]一种数据同步方法、装置、系统及存储介质

说明书

本公开提供了一种数据同步的方法、装置、系统及存储介质，应用于同步服务器，所述方法包括：读取分布式应用程序协调系统中的多个同步任务，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址；当存在多个所述同步任务的任务分配对象为所述同步服务器时，针对每个所述同步任务建立多组消费者线程和生产者线程；根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取；根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入，以至少解决目前uReplicator集群无法实现多个集群之间数据同步的问题。

技术领域

本公开涉及信息处理技术领域，特别是涉及一种数据同步方法、装置、系统及存储介质。

背景技术

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据，是在现代网络上的许多社会功能的一个关键因素。

在实际应用中，当一个消息系统Kafka集群将topic数据镜像到另外一个Kafka集群时，需要借助Kafka集群中的MirroMaker的工具实现，由于MirroMaker工具不是集群化的服务，因此上述工具无法解决大量数据镜像任务的场景。

为了实现大量数据镜像任务，通常采用uReplicator集群实现，具体的，

在uReplicator集群中的Worker启动之前，预先在配置文件中写入一个源Kafka集群地址和一个目的Kafka集群地址，并且一个uReplicator集群配置文件中只会配置一个源Kafka集群地址和一个目的集群地址，因此当该集群启动后，只能执行从固定源Kafka集群到固定目的Kafka集群的数据同步任务，由于在配置文件中不存在其他源Kafka集群地址和目的Kafka集群地址，因此不能连接到配置文件中不存在的源Kafka集群地址和目的Kafka集群地址，当然也就无法执行对应的数据镜像任务，也就是说，对于配置文件中不存在的源Kafka集群地址和目的Kafka集群地址的数据镜像任务，由于不知道集群地址，因此无法连接源集群进行消费，以及无法连接目的集群进行写入。

此外，由于数据同步任务的源集群和目的集群是固定不变的：当搭建一个uReplicator集群后，那么该同步服务集群就只能负责从一个Kafka源集群镜像到另外一个Kafka目的集群，无法进行大量数据同步，如果此时存在另外的源集群和目的集群的数据同步任务，那么需要重新搭建一个uReplicator集群。

发明内容

本公开提供了一种数据同步方法、装置、系统及存储介质，以至少解决目前uReplicator集群无法实现大量数据同步的问题。

为了解决上述问题，本公开公开了一种数据同步方法，应用于同步服务器，所述方法包括：

读取分布式应用程序协调系统中的多个同步任务，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址；

当存在多个所述同步任务的任务分配对象为所述同步服务器时，针对每个所述同步任务建立多组消费者线程和生产者线程；

根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取；

根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入。

进一步的，在所述根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取之后，还包括；

将读取的同步数据放入同步队列中；

根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入，包括：

读取所述同步队列中的同步数据，根据所述同步数据对应的生产者线程，连接目的同步对象进行同步数据的写入。