[发明专利]一种异构数据增量同步及断点续传的方法

说明书

本发明提供了一种异构数据增量同步及断点续传的方法，通过增量同步的初始值及结束值的逻辑判断，判断出增量同步需要的真正初始值和真正结束值，通过方言转换器转换成对应的where条件和presql预执行sql，并传递给Datax；将Datax发布到调度平台中以实现周期性的增量同步；插入状态表，记录每次周期同步的情况并复用Datax的日志组件以实现对于同步日志的查看；本发明保证不出现数据丢失、数据重复的情况下的离线增量同步，实现了针对异常情况下的断点续传功能。

技术领域

本发明涉及数据处理技术领域，特别涉及一种异构数据增量同步及断点续传的方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

伴随信息化水平的越来越高，数据的爆发性增长导致有海量的数据存储在不同类型的数据库中，数据增长的同时，对于数据主题库或者数据汇聚的要求越来越高。

发明人发现，当前数据平台中的数据同步工具，大都只能实现全量同步的方式，对离线增量的场景支持上存在很多问题，例如：

(1)现有很多增量同步工具很多只能支持相同类型的数据同步，现实情况是很多业务系统分批次建立的，对应的数据源存储也是各种各样，实现一个异构数据源同步到统一的数据库类型，然后进行分析是十分必要的；

(2)当前的工具，基本不支持断点续传(指增量同步失败后，下次同步可以从上次异常点再进行同步)，而且会出现增量同步过程中数据重复和数据缺失的情况，严重影响了后续的数据质量及数据的分析的精确性等业务场景。

发明内容

为了解决现有技术的不足，本发明提供了一种异构数据增量同步及断点续传的方法，保证不出现数据丢失、数据重复的情况下的离线增量同步，实现了针对异常情况下的断点续传功能。

为了实现上述目的，本发明采用如下技术方案：

一种异构数据增量同步及断点续传的方法，包括以下过程：

通过增量同步的初始值及结束值的逻辑判断，判断出增量同步需要的真正初始值和真正结束值，通过方言转换器转换成对应的where条件和presql预执行sql，并传递给Datax；

将Datax发布到调度平台中以实现周期性的增量同步；

插入状态表，记录每次周期同步的情况并复用Datax的日志组件以实现对于同步日志的查看。

作为可选的一种实现方式，通过在业务端配置输入源的信息，包括：自定义数据库驱动信息、数据库类型和账号密码，支持定期修改数据源密码。

作为进一步的限定，数据库类型至少包括：mysql、sqlserver、postgresql、oracle、TiDB、达梦和神通。

作为可选的一种实现方式，支持多种常用数据库作为数据源的输入和输出。

作为可选的一种实现方式，通过增量同步的初始值及结束值的逻辑判断，包括：

给定一个指定开始值，获取输入数据源的最大值；

获取输出数据库的最大值；

比较给定的开始值与输出数据库的最大值，取较大的作为最终的目标数据库的最大值，所述最终的目标数据库的最大值为本次同步的所需要的初始值；

处理异常情况下，同步结束时结束值重复且出现部分缺失的情况，比较输入数据库和输出数据库中对于真正的初始值的个数，如果个数不一致说明同步的上次执行出现问题，如果个数一致说明同步的上次执行没有问题；

获取最终初始值，最终初始值和最终结束值值通过方言转换器，进行相匹配的数据库的格式；