[发明专利]基于DB2联邦特性的多源异构数据库数据同步系统及方法

说明书

本发明涉及一种基于DB2联邦特性的多源异构数据库数据同步系统及方法，数据同步系统包括：联邦数据库：包括多个源数据库和一个目标数据库，所述的源数据库均连接至目标数据库；时间控制模块：用于向数据同步模块发送时间片任务报文；数据同步模块：读取时间片任务报文，从多个源数据库查询数据并同步至目标数据库。与现有技术相比，本发明轻量级实现多源异构数据库准实时同步。

技术领域

本发明涉及一种数据库数据同步系统及方法，尤其是涉及一种基于DB2联邦特性的多源异构数据库数据同步系统及方法。

背景技术

现有银行系统分工越来越细化，由此带来各类业务数据、交易数据散落在各个子系统中。特别是对于某一类数据的批量处理，往往需要从各个子系统抽取相应数据，整合之后才能反应整体交易情况。

常用的数据同步技术包括：

一、DB2 HADR

High Availability Disaster Recovery(HADR)是数据库级别的高可用性数据复制机制。一个HADR环境需要两台数据库服务器：主数据库服务器(primary)和备用数据库服务器(standby)。当主数据库中发生事务操作时，会同时将日志文件通过TCP/IP协议传送到备用数据库服务器，然后备用数据库对接受到的日志文件进行重放(Replay)，从而保持与主数据库的一致性。当主数据库发生故障时，备用数据库服务器可以接管主数据库服务器的事务处理。此时，备用数据库服务器作为新的主数据库服务器进行数据库的读写操作，而客户端应用程序的数据库连接可以通过自动客户端重新路由(Automatic ClientReroute)机制转移到新的主服务器。当原来的主数据库服务器被修复后，又可以作为新的备用数据库服务器加入HADR。通过这种机制，DB2 HADR实现了数据库的灾难恢复和高可用性，最大限度的避免了数据丢失。DB2 HADR技术包括四种模式：

同步(SYNC)：相关操作日志在主、备机上都写入磁盘成功才算成功。

准同步(NERSYNC)：相关操作日志在主机上写入磁盘成功，备机上写入接收缓存就算成功。

异步(ASYNC)：相关操作日志在主机上写入磁盘成功，发送到主机TCP层就算成功，无需等待备机确认。

SUPERASYNC(超级异步)：相关操作日志在主机上写入磁盘成功，就算成功。

DB2 HADR技术存在如下缺点：

1、基于DB2数据库底层日志读写，只能实现整个数据库同步，不能实现个别表的同步，过于重量级，同步任务本身对数据库压力过重。

2、只支持1对1同步，即一个源数据库同步至一个目标数据库。

3、只支持DB2数据库同步至DB2数据库。

二、编写shell脚本实现数据同步

该方法通过数据库导出(export)、导入(import)命令，每隔一段时间从源数据库导出，再导入至目标数据库。

该方法存在如下缺点：

1、脚本执行慢，数据同步效率低，容易导致锁表，无法满足高并发场景、也无法满足准实时同步要求；

2、同步暂停后如果要恢复，难以实现从断点开始精确同步；

3、如果是异构数据库，无法对同步数据进行复杂的变化操作。

基于以上，需要开发一种用于多源异构数据库数据同步的方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于DB2联邦特性的多源异构数据库数据同步系统及方法。