[发明专利]一种异构数据库的数据转换同步方法、设备及存储介质

说明书

本发明公开了一种异构数据库的数据转换同步方法、设备及存储介质，所述方法包括：首先读取配置文件并加载出需要进行数据处理的表列名信息以及外部数据处理动态库，并验证动态库的有效性；然后在验证有效时，接收源端发送的日志消息包并解析；之后根据加载出的表列名信息判断日志消息包中的操作表是否需要进行数据转换；最后当判断需要进行数据转换时，调用动态库模块对操作表进行数据转换，并应用到目标数据库中。本发明一方面基于数据库日志解析的数据实时同步，对源端生产数据库系统的影响较小；另一方面，本发明有效满足实时的数据同步和转换处理，并且使用到外部的第三方数据转换处理接口库，具备较强的灵活性和高度的可扩展性。

技术领域

本发明涉及数据库同步技术领域，具体涉及一种异构数据库的数据转换同步方法、设备及存储介质。

背景技术

随着企业业务规模的不断发展，服务于企业应用的信息化系统所面临的负载压力也越来越大，同时企业多样化的业务类型导致对信息系统数据访问的需求日趋复杂和多样化。在信息技术的时代，现代信息化系统已成为企业运作的关键，存储着企业的核心数据资产。如何有效的对数据进行存储和管理，构建高效可用的信息化系统，保证业务的连续性，满足多样化的业务需求，最大限度的保障企业数据资产，高效服务用户是当前企业信息化系统发展过程中所需要面临的挑战。

为保障数据存储的安全，对于企业生产系统，通常需要使用相关容灾备份技术构建灾备系统。传统的基于数据库自身的备份恢复系统、服务器集群系统、磁盘阵列、OracleDataGuard等技术通常都有一定的使用场景和限制，无法完全满足企业对于信息系统不中断服务的要求。对于传统数据库备份系统，在两次数据备份之间若服务器出问题则数据会丢失，并且在数据量较大的情况下，利用备份还原通常需花费较长的时间；服务器集群系统无法达到异地备份目的，且成本昂贵；磁盘阵列无法应付操作系统或应用程序造成的宕机，并且无法立即恢复服务；Oracle DataGuard等产品是单一数据库解决方案，备机必须与主机同构，使用相同的数据库版本，整个备机数据库只能以只读方式访问，也无法实现数据整合和数据分发。

此外，在大数据时代，企业多样化的业务需求导致需要对数据进行多样化的处理，以满足各项应用需要。传统的资源信息整合通常借助于ETL等专用工具提供的数据抽取、转换和清洗等功能。ETL数据处理工具在实现机制上通常需要在生产数据库系统中创建触发器、影子表等，实现增量数据抽取。在复杂业务系统及海量数据处理上，这会对生产系统性能和稳定性产生较大影响。另一方面ETL工具往往通过计划性的任务调度实现数据转换处理，不能满足实时数据同步转换处理的需求。

因而现有技术还有待于改进和提高。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种异构数据库的数据转换同步方法、设备及存储介质，以解决目前数据无法实时同步以及高效转换处理的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种异构数据库的数据转换同步方法，包括如下步骤：

读取配置文件并加载出需要进行数据处理的表列名信息以及外部数据处理动态库，并验证外部数据处理动态库的有效性；

在验证外部数据转换动态库有效时，接收源端发送的日志消息包并解析；

根据加载出的需要进行数据处理的表列名信息判断日志消息包中的操作表是否需要进行数据转换；

当判断日志消息包中的操作表需要进行数据转换时，调用外部数据处理动态库对操作表进行数据转换，并将转换后的操作表应用到目标数据库中。

优选的，所述的异构数据库的数据转换同步方法中，所述日志消息包至少包括事务ID、事务操作类型以及操作表，所述操作表至少包括表名、列信息和数据值。