[发明专利]数据同步方法、装置、电子设备及存储介质

说明书

本发明涉及数据处理领域，揭露一种数据同步方法、装置、电子设备以及存储介质，所述方法包括：获取待同步数据表，识别所述待同步数据表中的待同步信息，并将所述待同步信息按照预设的格式导入至预设表格中，得到待同步表格；调用预设的服务接口配置所述待同步表格与预设目标平台的数据同步文件；根据所述数据同步文件，利用预先编译的数据同步脚本将所述待同步表格传入至所述预设目标平台中，得到所述待同步数据表的数据同步结果。此外，本发明还涉及区块链技术，所述待同步信息还可存储于区块链中。本发明可以提高数据同步的效率。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据同步方法、装置、电子设备及存储介质。

背景技术

随着技术的发展，数据量也呈现出爆发式的增长，随之而来就是业务系统的增多，以及建立相应的对数据集中存储及处理的大数据平台。一般情况下，一个企业的大数据平台是需要将上游业务表同步到平台中来，以便于企业数据的集中管控与处理，目前，对于这种操作，大部分企业采用的是批量同步工具sqoop进行的，使用sqoop同步上游表数据时，当有一个上游表需要同步到大数据平台时就需要开发人员编写一个相应的sqoop代码脚本，在面对企业的业务发展，需要同步的表越来越多时，靠开发人员每次去编写大量对应同步开发脚本时，需要耗费大量的时间，从而会影响数据同步的效率。

发明内容

本发明提供一种数据同步方法、装置、电子设备及存储介质，其主要目的在于提高数据同步的效率。

为实现上述目的，本发明提供的一种数据同步方法，包括：

获取待同步数据表，识别所述待同步数据表中的待同步信息，并将所述待同步信息按照预设的格式导入至预设表格中，得到待同步表格；

调用预设的服务接口配置所述待同步表格与预设目标平台的数据同步文件；

根据所述数据同步文件，利用预先编译的数据同步脚本将所述待同步表格传入至所述预设目标平台中，得到所述待同步数据表的数据同步结果。

可选地所述识别所述待同步数据表中的待同步信息，包括：

获取所述待同步数据表中的键值字段，从所述键值字段中筛选出满足预设条件的目标字段；

将所述目标字段及所述目标字段对应的数值内容作为所述待同步信息。

可选地，所述将所述待同步信息按照预设的格式导入至预设表格中，得到待同步表格，包括：

确定所述待同步信息在所述预设表格中的表格位置，并配置所述待同步信息在所述预设表格中的导入顺序；

根据所述表格位置和所述导入顺序，按照所述预设的格式将所述待同步信息导入至所述预设表格中，得到待同步表格。

可选地，所述调用预设的服务接口配置所述待同步表格与预设目标平台的数据同步文件，包括：

根据所述预设的服务接口，将所述待同步表格传入至所述预设目标平台中，并在所述预设目标平台中配置所述待同步表格的数据同步路径和数据同步位置，以生成所述待同步表格在所述预设目标平台的初始同步文件；

将所述初始同步文件的文件格式转换成预设文件格式，得到所述数据同步文件。

可选地，所述在所述预设目标平台中配置所述待同步表格的数据同步路径和数据同步位置，包括：

在所述预设目标平台中构建所述待同步表格的同步方式和同步数据表；

根据所述同步方式，确定所述待同步表格在所述预设目标平台中的数据同步路径；

根据所述同步数据表，确定所述待同步表格在所述预设目标平台中的数据同步位置。