[发明专利]一种多类型数据库之间同步数据的方法

权利要求书

1.一种多类型数据库之间同步数据的方法，其特征在于：包括

步骤一：配置需要同步的数据表；

步骤二：根据所述步骤一中的所述数据表，生成同步任务；

步骤三：创建多线程并行同步子任务，将需要同步的数据放入线程队列池中执行；当所述线程队列池繁忙时，等待所述线程队列池中的线程执行完毕；当所述线程队列池空闲时，则执行步骤四；

步骤四：所述线程队列池按先入先出的原则执行任务；当所述线程队列池中没有任务时，所述线程队列池不执行任务；当所述线程队列池中有任务时，则执行步骤五；

步骤五：执行线程任务；

步骤六：定时发起数据清理任务；

步骤七：获取成功同步的任务数据；

步骤八：清理历史数据。

2.根据权利要求1所述的一种多类型数据库之间同步数据的方法，其特征在于：所述步骤一包括如下步骤：

(1)配置原数据库与目标数据库的映射关系；

(2)配置原表中需要同步的字段；

(3)配置原表与目标表的映射关系；

(4)配置原表字段与目标表字段的映射关系；

(5)配置原表中符合同步的条件；

(6)确认或建立原表的主键约束；

(7)创建原表的表级触发器；

(8)记录数据变化的主键信息。

3.根据权利要求1所述的一种多类型数据库之间同步数据的方法，其特征在于：所述步骤二包括如下步骤：

1)定时任务服务，定时发起同步任务；

2)当接收到同步请求时，创建同步任务，生成并记录同步数据的范围；

3)按任务的数据范围获取同步数据，并加载到内存中临时缓存。

4.根据权利要求3所述的一种多类型数据库之间同步数据的方法，其特征在于：在首次配置完成后，所述步骤1)进行前，发起原表的全量同步任务，取出全量数据。

5.根据权利要求1所述的一种多类型数据库之间同步数据的方法，其特征在于：所述步骤五包括如下步骤：

(Ⅰ)按照数据的主键ID和数据操作类型，删除目标表中的一行数据；

(Ⅱ)按照时间顺序和主键ID，获取原表中的一行数据；

(Ⅲ)洗清、加工、处理所述步骤(Ⅱ)获取的原表数据；

(Ⅳ)按照字段映射关系，将原表数据写入到目标表中；

(Ⅴ)当多线程并行子任务同步完成时，释放线程资源；

(Ⅵ)观察线程子任务是否异常；当所述线程子任务全部正常时，则执行步骤(Ⅶ)；当所述线程子任务出现异常时，则执行步骤(Ⅸ)；

(Ⅶ)等待任务整体完成；当任务全部完成时，则执行步骤(Ⅷ)；当任务未全部完成时，则执行步骤四；

(Ⅷ)记录同步任务数据表的统计信息；

(Ⅸ)记录同步任务的概要信息；

(Ⅹ)释放全部资源及缓存。

6.根据权利要求5所述的一种多类型数据库之间同步数据的方法，其特征在于：所述步骤(Ⅷ)中的所述统计信息包括同步的原始表、同步数据的个数、同步开始时间和同步结束时间，并将所述同步的原始表、同步数据的个数、同步开始时间和同步结束时间按照操作类型进行分类统计；所述步骤(Ⅸ)中的概要信息包括整体的同步开始时间、整体的同步完成时间、开始编号和结束编号。