[发明专利]一种利用消息总线进行数据库实时同步的方法及系统

说明书

本发明公开了一种利用消息总线进行数据库实时同步的方法及系统，包括：监听需要同步的数据库，实时获取数据库的写操作消息，解析或者获得写操作的DML,DDL,DCL语句，将语句封装为消息，发送到消息总线上，目标数据库消费系统从消息总线上获取到消息，解析出DML，DDL，DCL语句，转换为目标数据库SQL，连接目标数据然后执行语句，完成数据的写操作，从而达到数据库数据实时同步的效果。本发明可实时的进行数据库的同步，可用于分布式服务场景或者灾备等需要数据实时同步的应用场景中。

技术领域

本发明涉计算机技术领域，尤其是涉及一种利用消息总线进行数据库实时同步的方法以及系统

背景技术

随着互联网以及大数据、人工智能时代的到来，数据作为基础的信息资源载体，越来越重要，数据库系统作为数据的存储系统，在信息系统中其高可用性变得日益重要，数据库同步技术成为信息系统中关键的技术。在一般应用场景下，一个数据库服务于一个应用系统或者几个应用系统，通过自身的复制同步机制基本可以满足需求，但随着信息技术的不断发展，应用场景也不断的复杂起来，有时候一个数据库需要更多系统使用，且数据库系统也不同，如源数据库是MySql，目标数据库是Oracl、MsSqlServer等。具体的应用场景比如互联网应用场景下分布式集群应用，不同业务系统数据访问、两地双活、多地多活、异地备份、实时容灾备份等场景下，对数据库同步，特别是实时数据库同步的需求越来越高。

解决数据库同步最为常见的方法是利用数据库系统本身的同步机制，比如MySql的主从同步。通过配置主从同步、主主同步等来进行数据库的同步,这种数据复制同步方法在一般情况下基本可以满足业务的需求(见图1示意图)。但是在复杂的应用场景下，该方案的实施操作起来就很复杂，本身配置起来就很麻烦，如果有新的应用进来，可能需要停数据库服务，然后分别配置从数据库，配置完成后再重新启动，验证配置是否成功。多个数据库的同步，也影响主库的性能。对于更复杂应用场景下数据库实时同步，如果是在多个应用系统异构数据库情况下，上述方案无法解决数据同步的问题，尚且未提出高效，简洁的数据同步方案。

发明内容

有鉴于此，本发明的目的在意提供一种利用消息总线进行数据库实时同步的方法。解耦数据同步和数据库系统之间的联系，以解决在分布式等复杂应用场景下数据库实时同步的问题。

本发明中的监听服务是指监听主数据库的一个应用程序或者线程，消费服务是指从消息总线上获取消息的应用程序或者线程。本发明采用的技术方案为一种利用消息总线进行数据库实时同步的方法，包括：监听需要同步的数据库，实时获取数据库的写操作消息，解析或者获得写操作的DML,DDL,DCL语句，将语句封装为消息，发送到消息总线上，目标数据库消费系统从消息总线上获取到消息，解析出DML，DDL，DCL语句，转换为目标数据库SQL，连接目标数据然后执行语句，完成数据的写操作，从而达到数据库数据实时同步的效果。

本发明可实时的进行数据库的同步，可用于分布式服务场景或者灾备等需要数据实时同步的应用场景中。

附图说明

图1为现有的1+M数据库同步示意图；

图2为实施本发明的示意图；

图3为数据库监听服务工作的示意图；

图4为消费服务工作示意图；

图5为本发明方法实施的流程图。

具体实施方式

如图1-2所示，一种利用消息总线进行数据库实时同步的系统，系统中的主数据库与监听服务模块交互，监听服务模块通过消息总线与各个消费服务交互，各个消费服务分别对应各个的从库。