[发明专利]一种用于数据库的同步和分析方法及系统

说明书

本发明给出了一种用于数据库的同步和分析方法及系统，包括获取MongoDB中的操作日志，解析获取MongoDB的数据操作，其中操作日志中包括数据的新增、删除和更新操作；响应于捕获MongoDB的数据操作，将被操作的数据写入Kafka消息队列中；利用Bireme消费Kafka消息队列中的更改记录消息，将MongoDB的数据解析为目标数据源Greenplum中的插入和删除语句，进而将数据同步更新至目标数据源Greenplum中；响应于Greenplum存储通过Bireme同步的数据，利用sql进行数据的统计分析。这种方式可以实现对源数据库影响最小的完成数据的实时同步，能够在不影响现有架构的情况下完成定时对海量数据进行统计分析。

技术领域

本发明涉及数据库应用技术领域，尤其是一种用于数据库的同步和分析方法及系统。

背景技术

在计算机系统结构研究领域中，大规模并行处理(Massively ParallelProcessing，MPP)是指计算机系统中使用大量的、同构的、简单的处理单元(PE，ProcessingEIement)，通过PE之间的并行工作获得较高的系统性能。采用MPP体系结构中，一般使用大量的PE节点，PE之间采用高性能的交换网络进行连接，每个PE拥有本地存储器，各个PE之间通过消息传递进行通信。MPP系统中PE的并行程度较高，减少了共享存储所带来的系统开销，适合大规模的系统扩展。另一方面。MPP系统的程序设计较为复杂，主要表现在计算任务的划分及其与PE节点之间的映射上。

大规模并行处理(Massively Parallel Processing，MPP)数据库是一种大量处理器在其中并行地进行一套计算的数据库。在MPP系统中，多个处理器以协作的方式处理程序，其中，每一个处理器处理所述程序的不同部分和/或不同数据。MPP系统的计算资源是分布式的，运行在不同的物理/虚拟节点上。MPP数据库系统可以基于无共享(Shared-Nothing，SN)或共享磁盘(Shared Disk，SD)架构，其中，数据库中的表被划分成多个分区分配至不同的处理节点。对于数据库查询，根据数据分布和优化的执行方案划分每次查询的任务，将其分配至所述处理节点。每个处理节点中的处理实体仅管理自己部分的数据。但是，在执行过程中，所述处理实体可以相互进行通信，以交换必要信息。

由于现有的MPP数据库的处理方式是将数据存储在MongoDB中，在对数据进行统计分析的过程中遇到两个问题。首先数据统计分析需要涉及到对跨库、跨表的复杂关联查询，而MongoDB对其支持较差。其次在数据量大的情况下直接对库进行统计会严重影响到其他查询性能。所以需要一种方式能够在不影响现有架构的情况下完成定时对海量数据进行统计分析。

发明内容

为了解决现有技术中MongoDB对跨库、跨表的复杂关联查询支持较差等问题，本发明提出了一种用于数据库的同步和分析方法及系统，用以解决现有技术存在的上述问题。

在第一个方面，本发明提出了一种用于数据库的同步和分析方法，该方法包括以下步骤：

S1：获取MongoDB中的操作日志，解析获取MongoDB的数据操作，其中操作日志中包括数据的新增、删除和更新操作；

S2：响应于捕获MongoDB的数据操作，将被操作的数据写入Kafka消息队列中；

S3：利用Bireme消费Kafka消息队列中的更改记录消息，将MongoDB的数据解析为目标数据源Greenplum中的插入和删除语句，进而将数据同步更新至目标数据源Greenplum中；以及

S4：响应于Greenplum存储通过Bireme同步的数据，利用sql进行数据的统计分析。

优选的，MongoDB包括主节点和从节点，主节点中记录有操作日志。利用MongoDB复制提供了数据的冗余备份，可在多个服务器上存储数据副本，提高了数据的可用性，同时保证了数据的安全性。