[发明专利]基于kettle的数据同步方法、装置及相关设备

说明书

本发明涉及大数据领域，具体涉及一种基于kettle的数据同步方法、装置及计算机设备、存储介质，所述方法包括：获取源数据库的源数据；判断所述源数据是否加工完成，若所述源数据加工完成，则判断是否有需要同步的数据；若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库；若所述源数据未加工完成，则循环等待所述源数据加工完成。本发明提供的基于kettle的数据同步方案直接从源数据将数据按条件同步到目标库，能够解决不能判断数据是否已加工的问题；通过判断是否有需要同步的数据，能够避免直接同步浪费资源的情况。

技术领域

本发明涉及大数据领域，尤其涉及一种基于kettle的数据同步方法、装置及计算机设备、存储介质。

背景技术

目前，各大金融公司为满足财务数据的统计处理都会搭建一个平台，进而将日报、月报、预测等功能整合。这些功能的实现基于底层指标数据的加工，指标数据有的存在不同的数据库中，这时需要将其按规则同步到同一个数据库上，主要是基于kettle同步数据实现，常见的方案是直接从数据源将数据按条件同步到目标数据库，但在实际的项目中，现有的实现方式无法有效保证数据同步的正确性。

发明内容

本发明实施例提供一种基于kettle的数据同步方法、装置及计算机设备、存储介质，以解决现有技术中不能有效保证数据同步的正确性的问题。

第一方面，本发明实施例提供一种基于kettle的数据同步方法，包括：

获取源数据库的源数据；

判断所述源数据是否加工完成，若所述源数据加工完成，则判断是否有需要同步的数据；

若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库；

若所述源数据未加工完成，则循环等待所述源数据加工完成。

作为本发明可实施的方式，所述获取源数据库的源数据包括：

通过源数据库提供的数据接口从所述源数据库中获取所述源数据。

作为本发明可实施的方式，所述判断所述源数据是否加工完成包括：

获取加工日志表；

从所述加工日志表中读取所述源数据的加工状态；

根据所述加工状态判断所述源数据是否加工完成。

作为本发明可实施的方式，所述若所述源数据加工完成，则判断是否有需要同步的数据包括:

获取数据同步标识；

根据所述数据同步标识判断是否有需要同步的数据；

若所述数据同步标识显示有需要同步的数据，则确定需要同步的数据。

作为本发明可实施的方式，所述若有需要同步的数据，则通过kettle同步所述需要同步的数据到目标数据库包括：

若有需要同步的数据，则增量同步所述需要同步的数据到目标数据库。

作为本发明可实施的方式，在同步数据到目标数据库之前，所述方法包括：

获取待同步的数据库中的数据；

将所述数据转换为键值对；

将所述键值对输入目标数据库，确定完成按目标数据库的数据格式将待同步的数据进行转换。

作为本发明可实施的方式，所述方法还包括：

若循环等待数据加工超过预先设定的等待时间阈值，则结束等待。

第二方面，本发明实施例提供一种基于kettle的数据同步装置，包括：