[发明专利]一种数据同步方法、装置、电子设备和可读存储介质

权利要求书

1.一种数据同步方法，其特征在于，所述方法包括：

采集并上报MySQL数据库的第一数据信息；

将所述第一数据信息写入Kafka集群数据库；

Storm集群消费所述Kafka集群中的第一数据信息并按照预设规则对消费的第一数据信息进行配置处理，获得第二数据信息；

Storm集群将所述第二数据信息写入Hbase数据库。

2.根据权利要求1所述的数据同步方法，其特征在于，采集MySQL数据库第一数据信息包括：

采集MySQL数据库表结构信息和数据变动信息；

将所述采集的表结构信息和数据变动信息的DDL信息进行上报；

其中所述DDL信息包括：数据库名称、分库IP、数据表名称、DDL语句、SQL语句。

3.根据权利要求2所述的数据同步方法，其特征在于，所述方法还包括：

根据接收的配置参数，控制所述采集MySQL数据库的第一数据信息的使能状态；其中所述配置参数包括用于控制采集使能的使能参数。

4.根据权利要求2或3所述的数据同步方法，其特征在于，所述Storm集群按照预设规则对消费的第一数据信息进行配置处理包括：

按照接收的预设规则，对所述第一数据信息进行配置处理，其中所述配置处理包括：

对第一数据信息能够包括的表、元数据和字段进行过滤、映射、转换操作。

5.根据权利要求4所述的数据同步方法，其特征在于，在所述Storm集群按照预设规则对消费的第一数据信息进行配置处理之前，所述方法还包括：

接收上报的DDL信息；

判断所述DDL信息需要处理；

判断缓存区不存在所述DDL信息中包括的DDL语句和SQL语句；

在所述Storm集群按照预设规则对消费的第一数据信息进行配置处理之后，所述方法还包括：

按照预定周期将所述第二数据信息进行缓存。

6.根据权利要求5所述的数据同步方法，其特征在于，所述方法还包括：

获取预定时段内的MySQL数据库的第三数据信息；

获取根据MySQL数据规则提取的Hbase数据库的Hbase数据；

对所述第三数据信息和提取的Hbase数据进行比对；

如果比对不一致，则对所述Hbase数据库数据进行修正。

7.一种数据同步装置，其特征在于，所述装置包括：采集模块、写入模块、消费模块和处理模块；其中，

所述采集模块，用于采集并上报MySQL数据库的第一数据信息；

所述写入模块，用于将所述第一数据信息写入Kafka集群数据库；

所述消费模块，用于Storm集群消费所述Kafka集群中的第一数据信息；

所述处理模块，用于Storm集群按照预设规则对消费的第一数据信息进行配置处理，获得第二数据信息；

所述写入模块，用于Storm集群将所述第二数据信息写入Hbase数据库。

8.根据权利要求7所述的数据同步装置，其特征在于，所述采集模块还用于：

采集MySQL数据库表结构信息和数据变动信息；

将所述采集的表结构信息和数据变动信息的DDL信息进行上报；

其中所述DDL信息包括：数据库名称、分库IP、数据表名称、DDL语句、SQL语句。

9.根据权利要求8所述的数据同步装置，其特征在于，所述装置还包括配置模块，其中，

所述配置模块，用于根据接收的配置参数，控制所述采集MySQL数据库的第一数据信息的使能状态；其中所述配置参数包括用于控制采集使能的使能参数。