[发明专利]数据同步方法、装置、平台以及可读介质

说明书

提供一种数据同步方法、装置、数据同步平台以及存储介质，涉及计算机技术领域，尤其涉及数据处理技术领域。该数据同步方法包括：响应于接收到数据同步请求，确定该数据同步请求中指示的数据同步类型；根据数据同步类型，调起与该数据同步类型对应的数据同步进程，以从源数据库中提取待同步数据；确定目标数据库的表结构信息；根据目标数据库的表结构信息，对待同步数据进行处理；以及将处理的所述待同步数据写入所述目标数据库。

技术领域

本公开涉及计算机技术领域，具体涉及数据处理、数据同步技术领域，尤其涉及数据同步方法、装置、数据同步平台以及计算机可读存储介质。

背景技术

随着互联网技术的发展，人们在网上的冲浪行为会产生大量的数据，这些数据会存储在不同类型的数据库中。如何实现不同类型的数据库之间的数据同步是人们的普遍诉求。

在相关技术中，已经开发有相应的同步工具，但该同步工具仅能用于一种类型的数据库到另一种类的数据库的数据同步，例如针对MySQL数据库到Hive数据库的数据同步。如果想要实现其他类型的数据库之间的数据同步，例如Hive数据库到Palo数据库的数据同步，则需要针对该数据同步类型开发出一套同步任务，比较耗时费力，且对于普通用户而言，开发过程也难以实现。

发明内容

根据本公开实施例的一个方面，提供了一种数据同步方法。所述方法包括：响应于接收到数据同步请求，确定该数据同步请求中指示的数据同步类型；根据数据同步类型，调起与该数据同步类型对应的数据同步进程，以从源数据库中提取待同步数据；确定目标数据库的表结构信息；根据目标数据库的表结构信息，对待同步数据进行处理；以及将处理的所述待同步数据写入所述目标数据库。

根据本公开实施例的另一个方面，提供了一种数据同步装置。该数据同步装置包括：确定单元，配置为响应于接收到数据同步请求，确定所述数据同步请求中指示的数据同步类型；调取单元，配置为根据所述数据同步类型，调起与该数据同步类型对应的数据同步进程，以从源数据库中提取待同步数据；获取单元，配置为确定目标数据库的表结构信息；处理单元，配置为根据所述目标数据库的表结构信息，对所述待同步数据进行处理；以及同步单元，配置为将处理的所述待同步数据写入所述目标数据库。

根据本公开实施例的另一个方面，提供了一种数据同步平台。该数据同步平台包括：处理器以及存储程序的存储器。所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据本公开一些实施例的数据同步方法。

根据本公开实施例的另一个方面，提供了一种存储程序的计算机可读存储介质。所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行根据本公开一些实施例的数据同步方法。

借助于本公开示例性实施例的方案，能够根据数据同步请求，确定出数据同步类型，并根据该数据同步类型，自动调起与该数据同步类型适配的数据同步进程，以从源数据库中提取待同步数据，并在对该待同步数据进行处理后写入目标数据库中。由此，不用针对每种类型的数据同步需求均开发一套同步任务，就可以实现不同类型的数据库之间的数据同步，降低了同步开发的任务量，提高了数据同步的效率。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素，其中：

图1是根据本公开一些示例性实施例的数据同步系统的示意图；

图2是根据本公开一些示例性实施例的数据同步方法的流程图；

图3是根据本公开一些示例性实施例的分库分表场景下的数据同步过程的示意图；

图4是根据本公开另一些示例性实施例的数据同步方法的流程图；