[发明专利]一种异构数据增量同步及断点续传的方法

权利要求书

1.一种异构数据增量同步及断点续传的方法，其特征在于：

通过增量同步的初始值及结束值的逻辑判断，判断出增量同步需要的真正初始值和真正结束值，通过方言转换器转换成对应的where条件和presql预执行sql，并传递给Datax；

将Datax发布到调度平台中以实现周期性的增量同步；

插入状态表，记录每次周期同步的情况并复用Datax的日志组件以实现对于同步日志的查看。

2.如权利要求1所述的异构数据增量同步及断点续传的方法，其特征在于：

通过在业务端配置输入源的信息，包括：自定义数据库驱动信息、数据库类型和账号密码，支持定期修改数据源密码。

3.如权利要求2所述的异构数据增量同步及断点续传的方法，其特征在于：

数据库类型至少包括：mysql、sqlserver、postgresql、oracle、TiDB、达梦和神通。

4.如权利要求1所述的异构数据增量同步及断点续传的方法，其特征在于：

支持多种常用数据库作为数据源的输入和输出。

5.如权利要求1所述的异构数据增量同步及断点续传的方法，其特征在于：

通过增量同步的初始值及结束值的逻辑判断，包括：

给定一个指定开始值，获取输入数据源的最大值；

获取输出数据库的最大值；

比较给定的开始值与输出数据库的最大值，取较大的作为最终的目标数据库的最大值，所述最终的目标数据库的最大值为本次同步的所需要的初始值；

处理异常情况下，同步结束时结束值重复且出现部分缺失的情况，比较输入数据库和输出数据库中对于真正的初始值的个数，如果个数不一致说明同步的上次执行出现问题，如果个数一致说明同步的上次执行没有问题；

获取最终初始值，最终初始值和最终结束值通过方言转换器，进行相匹配的数据库的格式；

对输入源进行按照对于增量字段的有序读取。

6.如权利要求5所述的异构数据增量同步及断点续传的方法，其特征在于：

同步的上次执行出现问题时，针对这个初始值上的数据进行删除处理，处理方式使用presql来执行测试。

7.如权利要求5所述的异构数据增量同步及断点续传的方法，其特征在于：

同步的上次执行没有问题时，初始值的精度加1。

8.如权利要求7所述的异构数据增量同步及断点续传的方法，其特征在于：

如果增量字段为数字，则执行+1操作；如果增量字段为时间类型，则秒的后6位精度+1，+1操作之后，替换原初始值，并作为新的初始值，直至得到最终初始值。

9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-8任一项所述的异构数据增量同步及断点续传的方法中的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8任一项所述的异构数据增量同步及断点续传的方法中的步骤。