[发明专利]一种多类型数据库之间同步数据的方法

说明书

本发明涉及一种多类型数据库之间同步数据的方法，包括如下步骤：配置同步数据表；生成同步任务；遍历同步数据，创建多线程并行同步子任务，并放入线程队列池中等待执行；当线程队列池繁忙时，等待线程队列池中的线程执行完毕；当线程队列池空闲时，则执行下个步骤；线程队列池中的任务按先入先出的原则等待被执行；当线程队列池中没有等待执行的任务时，线程队列池为休眠状态；当线程队列池中有任务时，则执行下个步骤；执行线程任务；定时发起数据清理任务；获取成功同步的任务数据；清理历史数据。本发明实现了在老旧数据库中的数据同步，成功完成了数据转移，平滑、安全的分离独立了计算数据库与业务数据库。

技术领域

本发明涉及数据处理技术领域，具体是一种多类型数据库之间同步数据的方法。

背景技术

工业企业信息化改造时，早年均建立有自己的软件系统，管理工业信息的数据库当年建立也比较早，数据库版本老旧，升级维护的难度随数量众多软件、系统和平台间的复杂程度而成几何倍数的放大，完全废除老旧数据库建立全新数据库在短期内是不可行的，升级老旧数据库也是不可行的。

数据库中最有价值的是数据，这些数据是必须要保留的，并要继续发挥数据的价值，如数据分析、数据统计、数据挖掘等。目前取数据采用的方法多为准实时的方法，在不影响或最小程度影响原业务系统及软件运行的基础上，取出数据。但是此种方法都多少要求数据库版本为较新的版本，并且要满足一定的要求，在老旧数据库中无法使用。在此前提下，需建立一套新的数据同步方法。

发明内容

本发明要解决的技术问题是：为了建立一套能在老旧数据库中使用的数据同步方法。

为实现上述目的，本发明提供如下技术方案：本发明提供的一种多类型数据库之间同步数据的方法，包括

步骤一：配置需要同步的数据表。

步骤二：根据步骤一中的需要同步的数据表，生成同步任务。

步骤三：遍历范围内待同步的数据，创建多线程并行同步子任务，并放入线程队列池中等待执行；当线程队列池繁忙时，等待线程队列池中的线程执行完毕；当线程队列池空闲时，则执行步骤四。线程池只能容下有限的线程任务，超出线程池数量外的线程任务须保存在线程队列池中。

步骤四：线程队列池中的任务按先入先出的原则等待被执行；当线程队列池中没有等待执行的任务时，线程队列池为休眠状态；当线程队列池中有任务时，则执行步骤五。

步骤五：执行线程任务。

步骤六：定时发起数据清理任务。以上任务每分钟(执行周期可配置)都在执行，但都没有清理成功同步后的历史数据。因为每天同步的数据量都很大，如果不能及时清理掉，以后程序的执行性能将会下降，磁盘空间也白白浪费了。所以，要定时清理历史数据，一般为一天清理一次，在企业系统最空闲的时段内做清理数据的动作。在高频数据同步的过程，保证关键表的只写性，业务表的只读性，通过读写分离，不在同一时间内同时读写，可有效提高程序的执行性能，降低数据库IO繁忙及数据库锁资源的占用。也因此，本步骤是十分关键的，须独立成定时任务来执行。

步骤七：获取成功同步的任务数据。对于异常的数据，在排队异常问题后，还可以通过手工重新开启同步任务，确保数据的一致性和完整性。

步骤八：清理历史数据。在确保没有同步任务执行的情况下，独占式的清理历史数据。当同步任务表再没有等待同步的数据时，也可考虑释放磁盘资源。

进一步，步骤一包括如下步骤：

(1)配置原数据库与目标数据库的映射关系，创建配置数据库，按需配置要同步的数据库。

(2)配置原表中需要同步的字段。按需配置要同步的表名称，及配置要同步哪些数据字段信息。