[发明专利]数据同步方法、装置、计算机设备及存储介质

说明书

本发明实施例公开了一种数据同步方法、装置、计算机设备及存储介质。该方法属于大数据技术领域，首先基于建立的第一预设连接获取源数据表的元数据信息，再基于第二预设连接并根据元数据信息建立目标数据表，最后通过预设指令可实现将第一服务器中的数据同步到第二服务器，整个同步过程无需手动创建目标数据表和写入预设指令。本申请实施例可提高数据同步的效率。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据同步方法、装置、计算机设备及存储介质。

背景技术

现有的关系数据库中的数据同步到大数据集群中，先要在大数据集群中手动创建对应txtfile格式的接收表，再通过Sqoop导入指令将关系数据库中的数据同步到大数据集群中。如果是将大数据集群中的数据同步到关系数据库，就先要在关系数据库中手动创建txtfile格式的接收表，再通过Sqoop的导出指令将大数据集群中的数据同步到关系数据库中。

在上述的数据同步过程中，无论是将关系数据库中的数据同步到大数据集群还是将大数据集群中的数据同步到关系数据库中，都先要手动创建txtfile格式的接收表，同时还需写入Sqoop指令，这使得数据同步的效率不高。

发明内容

本发明实施例提供了一种数据同步方法、装置、计算机设备及存储介质，旨在提高数据同步的效率。

第一方面，本发明实施例提供了一种数据同步方法，应用于一第一服务器，将所述第一服务器中的数据同步到一第二服务器，该方法包括：

获取第一界面配置信息，根据所述第一界面配置信息查询预配置的配置文件，以获取所述配置文件中与所述第一服务器对应的第一配置信息，根据所述第一配置信息建立第一预设连接；

基于所述第一预设连接并根据所述配置文件的第一配置信息查询源数据表并获取所述源数据表的元数据信息；

获取第二界面配置信息，根据所述第二界面配置信息查询预配置的所述配置文件，以获取所述配置文件中与所述第二服务器对应的第二配置信息，根据所述第二配置信息建立第二预设连接；

基于所述第二预设连接并根据所述元数据信息确定所述第二服务器中的目标数据表；

通过预设指令将所述源数据表上的数据同步到所述目标数据表，以使所述第一服务器中的数据同步到所述第二服务器。

第二方面，本发明实施例还提供了一种数据同步装置，其包括：

第一建立单元，用于获取第一界面配置信息，根据所述第一界面配置信息查询预配置的配置文件，以获取所述配置文件中与所述第一服务器对应的第一配置信息，根据所述第一配置信息建立第一预设连接；

获取单元，用于基于所述第一预设连接并根据所述配置文件的第一配置信息查询源数据表并获取所述源数据表的元数据信息；第二建立单元，用于获取第二界面配置信息，根据所述第二界面配置信息查询预配置的所述配置文件，以获取所述配置文件中与所述第二服务器对应的第二配置信息，根据所述第二配置信息建立第二预设连接；

确定单元，用于基于所述第二预设连接并根据所述元数据信息确定所述第二服务器中的目标数据表；

同步单元，用于通过预设指令将所述源数据表上的数据同步到所述目标数据表，以使所述第一服务器中的数据同步到所述第二服务器。

第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的数据同步方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述第一方面所述的数据同步方法。