[发明专利]数据实时同步系统及方法

说明书

技术领域

本发明涉及数据同步技术领域，具体地说，是一种数据实时同步的系统及方法。

背景技术

本发明针对多个数据库之间同步部分数据源的需求，提出多路数据同步方法和实现这一方法的系统，解决了全量和增量同步需求带来的数据冗余问题，系统通过采用通用数据缓存机制，降低了一次同步不成功带来的源端数据库节点的压力，系统通过采用双机制的数据传输方式，解决了高吞吐实时数据的同步问题。

基于网络的数据共享已成为人们获得最新数据资源不可或缺的方式，而数据同步是主要的资源共享手段之一。数据同步方式有以下优点：高冗余，提高了数据的抗灾容灾能力；远程数据本地化，减少了访问数据时的网络开销，提高了数据访问效率；可以充分利用每个节点的CPU和I/O资源，提高整体的数据访问效率。

然而，现有的数据同步方法实现简单但存在很多问题，无法满足日益增长的数据共享需求。主要表现在：

（1）传统的同步方式为简单的复制式同步，缺乏对各种资源的有机整合，造成各共享节点大量冗余数据。

（2）传统的同步方式基本上是基于扫描的数据共享，实时性差，并且在数据没有发生变化时往往会耗用无谓的网络带宽和CPU资源去监视数据的变化以便及时同步。当对数据同步实时性要求增高时，造成的系统开销是指数增长的。

（3）现有的同步方式，要求同步的节点同时保持在线，一旦有节点不在线情况，需要访问数据源节点获取差异部分数据，有的甚至要对全部数据进行重新同步，大大增加数据源节点的工作负担。

（4）传统的同步方式基本是针对传统的关系数据或文件系统数据的，没有考虑针对高吞吐实时数据的同步方案。

发明内容

本发明要解决的技术问题是提供一种数据实时同步系统及方法，可以实现多个数据库之间任意标签点数据的同步，提高同步的灵活性，并可以降低系统的负担。

为了解决上述技术问题，本发明提供了一种数据实时同步系统，包括：

同步内容管理器，用于根据用户配置的数据库标签点之间的映射关系获取同步配置信息；

数据订阅管理器，用于根据所述同步配置信息生成订阅请求并发送到源端数据库，还用于接收源端数据库根据所述订阅请求生成的订阅结果，并将订阅结果发送给所述同步内容管理器；

多路任务调度器，用于接收所述同步内容管理器接收到的订阅结果，并对其中的数据进行整理和调度处理；

数据筛选器，用于对所述多路任务调度器整理和调度处理后的数据进行压缩处理、滤波处理或条件筛选处理；

实时通信中间件，用于将所述数据筛选器处理后的数据发送到相应的目的端数据库，完成同步。

进一步地，还包括：

通用文件缓存器，用于在无法与目的端数据库建立连接时，对需要同步的数据进行缓存；并在与目的端数据库建立连接后，将缓存的数据发送到目的端数据库。

进一步地，所述实时通信中间件在将高频的小包数据发送到目的端数据库之前，先将高频的小包数据缓存到内存，待缓存的数据达到一定阈值或缓存时间超出设定的时间时，再将缓存的数据发送到对应目的端数据库。

进一步地，所述数据筛选器对数据进行条件筛选所依据的条件由用户配置或预先设置。

进一步地，所述实时通信中间件根据所述多路任务调度器的调度也采用多个通路将同步数据发送到对应的目的端数据库。

本发明还提供了一种数据实时同步方法，包括：

A、根据用户配置的数据库标签点之间的映射关系获取同步配置信息；

B、根据所述同步配置信息生成订阅请求并发送到源端数据库，所述源端数据库根据所述订阅请求生成订阅结果；

C、根据订阅结果，对其中的数据进行整理和调度处理；

D、对整理和调度处理后的数据进行压缩处理、滤波处理或条件筛选处理；

E、将所述压缩处理、滤波处理或条件筛选处理后的数据发送到相应的目的端数据库，完成同步。

进一步地，所述步骤E中，在无法与目的端数据库建立连接时，对需要同步的数据进行缓存；并在与目的端数据库建立连接后，将缓存的数据发送到目的端数据库。、

进一步地，所述步骤E中，在将所述压缩处理、滤波处理或条件筛选处理后的数据发送到相应的目的端数据库前，先缓存高频的小包数据，待缓存的数据达到一定阈值或缓存时间超出设定的时间时，将缓存的数据发送到对应目的端数据库。

进一步地，所述步骤E中，对数据进行条件筛选所依据的条件由用户配置或预先设置。