[发明专利]数据库同步的方法、装置、电子设备及可读存储介质

说明书

本申请实施例提供了一种数据库同步的方法、装置、电子设备及计算机可读存储介质，涉及数据处理技术领域。该方法包括：获取至少一个待同步至kafka集群的目标数据库；目标数据库中包括至少一张目标数据表；kafka集群中包括至少一个kafka主题；每个kafka主题可存储一个种类的数据表；确定kafka集群中与目标数据表的种类对应的目标kafka主题；将每张目标数据表分别同步至相应的目标kafka主题。本申请实施例实现了在将目标数据库同步至kafka集群后，kafka集群中的各目标数据表有一个清晰的分类，使得消费者读取数据表时，无需进行额外的分类工作，同时无需创建每个数据表对应的线程，即可实现kafka集群中的各个数据表有一个清晰的分类，不易引入人为错误，同时降低了资源的浪费。

技术领域

本申请涉及数据处理技术领域，具体而言，本申请涉及一种数据库同步的方法、装置、电子设备及可读存储介质。

背景技术

Kafka集群是一种高吞吐量的分布式发布订阅消息系统，在kafka集群中使用一个类别属性来划分数据的所属类，划分数据的这个类，则被称为kafka主题(topic)，一个kafka主题中存储的数据被看做同一个类的数据。

在将数据库中的数据同步到kafka集群中时，完整的数据流转路线为：生产者将各个数据库中的数据写入kafka主题中，消费者从kafka集群中读取数据到其他的数据处理系统，在生产者数据写入的过程中，一般是把一个数据库中的所有数据表写入一个kafka主题中，这样的写入方式比较简单。然而写入kafka主题后，由于kafka主题中存储的是各种数据表中数据行，并没有一个清晰的分类，导致各个消费者在读取kafka主题中的数据时，需要进行额外的分类，增加了消费者的负担。在数据表数量越来越多的情况下，一个kafka主题中的数据会越来越混杂，上述问题会变得更加严重。

现有方案通过以下方式解决上述问题：在同步过程中，针对数据库中的每个数据表创建一个线程，每个线程和每个数据表之间是一对一关系，每个线程用于将一个数据表同步到相应的kafka主题中，多个线程可分别将相应的数据表同步到各自相应的kafka主题中，这种方式虽然解决前述问题，但是由于为每个数据表都设置了一个线程，导致创建的线程的数量过多，难以管理，容易引入错误，同时会浪费较多资源。

发明内容

本申请实施例提供了一种数据库同步的方法、装置、电子设备、计算机可读存储介质及计算机程序产品，用于解决背景技术中的至少一个技术问题。

根据本申请实施例的第一方面，提供了一种数据库同步的方法，该方法包括：

获取至少一个待同步至kafka集群的目标数据库；目标数据库中包括至少一张目标数据表；kafka集群中包括至少一个kafka主题；每个kafka主题可存储一个种类的数据表；

对于每张目标数据表，确定kafka集群中与目标数据表的种类对应的目标kafka主题；

将每张目标数据表分别同步至对应的目标kafka主题。

在一个可能的实现方式中，kafka主题的主题名称中包括对应的数据表的表名以及对应的数据表所属数据库的库名；

确定kafka集群中与目标数据表的种类对应的目标kafka主题，包括：

设置目标数据表的配置信息；配置信息中包括目标数据表的表名以及目标数据表所属的目标数据库的库名；

若确定kafka集群中存在与目标数据表的配置信息对应的kafka主题，则将kafka主题作为目标数据表对应的目标kafka主题。

在一个可能的实现方式中，设置目标数据表的配置信息之后，还包括：

若确定kafka集群中不存在与目标数据表的配置信息对应的kafka主题，则在kafka集群创建与目标数据表对应的目标kafka主题。