[发明专利]一种用于数据库的同步和分析方法及系统

权利要求书

1.一种用于数据库的同步和分析方法，其特征在于，包括以下步骤：

S1：获取MongoDB中的操作日志，解析获取所述MongoDB的数据操作，其中所述操作日志中包括数据的新增、删除和更新操作；

S2：响应于捕获所述MongoDB的数据操作，将被操作的数据写入Kafka消息队列中；

S3：利用Bireme消费所述Kafka消息队列中的更改记录消息，将所述MongoDB的数据解析为目标数据源Greenplum中的插入和删除语句，进而将所述数据同步更新至所述目标数据源Greenplum中；以及

S4：响应于所述Greenplum存储通过Bireme同步的数据，利用sql进行数据的统计分析。

2.根据权利要求1所述的用于数据库的同步和分析方法，其特征在于，所述MongoDB包括主节点和从节点，所述主节点中记录有所述操作日志。

3.根据权利要求1或2所述的用于数据库的同步和分析方法，其特征在于，所述步骤S1具体为利用Debezium平台捕获所述MongoDB中的数据实时动态变化，即所述操作日志。

4.根据权利要求1所述的用于数据库的同步和分析方法，其特征在于，所述步骤S3具体为：配置Bireme，响应于所述目标数据源Greenplum的地址、用户名和密码与所述MongoDB中对应的地址、用户名和密码一致，将所述MongoDB中需要同步的数据同步至所述目标数据源Greenplum中。

5.根据权利要求1所述的用于数据库的同步和分析方法，其特征在于，所述步骤S4还包括配置Quartz调度规则对所述Greenplum中利用sql进行数据的统计分析。

6.根据权利要求5所述的用于数据库的同步和分析方法，其特征在于，所述调度规则为通过任务调度和/或按调度时间来进行调度作业。

7.根据权利要求5所述的用于数据库的同步和分析方法，其特征在于，所述步骤S4中的统计分析包括多表关联或单表的复杂统计分析。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被计算机处理器执行时实施权利要求1至7中任一项所述的方法。

9.一种用于数据库的同步和分析系统，其特征在于，包括：

MongoDB解析单元：配置用于获取MongoDB中的操作日志，解析获取所述MongoDB的数据操作，其中所述操作日志中包括数据的新增、删除和更新操作；

Kafka连接单元：配置用于响应于捕获所述MongoDB的数据操作，将被操作的数据写入Kafka消息队列中；

数据同步单元：配置用于利用Bireme消费所述Kafka消息队列中的更改记录消息，将所述MongoDB的数据解析为目标数据源Greenplum中的插入和删除语句，进而将所述数据同步更新至所述目标数据源Greenplum中；以及

数据分析单元：配置用于响应于所述Greenplum存储通过Bireme同步的数据，利用sql进行数据的统计分析。

10.根据权利要求9所述的一种用于数据库的同步和分析系统，其特征在于，还包括Quartz调度单元：配置用于配置Quartz调度规则对所述Greenplum中利用sql进行数据的统计分析。