[发明专利]一种同步业务数据的方法和设备

权利要求书

1.一种同步业务数据的方法，其特征在于，包括：

通过Maxwell组件将作为业务数据的Mysql数据同步到Kafka集群；

将所述Kafka集群中的数据同步到所述HBase；

将存储在所述HBase中的表映射到Hive库，完成所述业务数据的同步。

2.根据权利要求1所述的方法，其特征在于，所述“通过Maxwell将作为业务数据的Mysql数据同步到Kafka集群”，包括：

采用Maxwell组件实时拉取Mysql的binlog日志；

通过所述Maxwell组件将所述binlog日志解析成JSON格式，并将JSON格式的数据发送到Kafka集群中的topic中。

3.根据权利要求2所述的方法，其特征在于，在“采用Maxwell组件实时拉取Mysql的binlog日志”，之前还包括：

在业务数据所在的Mysql开启binlog日志配置；

部署Maxwell组件，修改所述Maxwell组件的配置文件并启动，以使所述Maxwell组件执行“实时拉取Mysql的binlog日志”的操作。

4.根据权利要求3所述的方法，其特征在于，所述在业务数据所在的Mysql开启binlog日志配置是通过修改my.cnf文件实现的。

5.根据权利要求3所述的方法，其特征在于，修改所述Maxwell组件的配置文件包括：

在maxwell组件目录下添加配置文件、同步源Mysql实例信息、存放Maxwell元数据的Mysql实例信息、过滤规则、Kafka集群信息以及topic名称。

6.根据权利要求1或2所述的方法，其特征在于，所述“将所述Kafka集群中的数据同步到所述Hbase”，包括：

通过通用解析服务实时消费Kfaka集群Topic中JSON格式的数据，以解析JSON格式的数据，按照配置规则组装数据，并写入到Hbase。

7.根据权利要求6所述的方法，其特征在于，所述“通过通用解析服务实时消费Kfaka集群Topic中JSON格式的数据，以解析JSON格式的数据，按照配置规则组装数据，并写入到Hbasee”，包括：

通过通用解析服务实时消费Kfaka集群Topic中JSON格式的数据，解析JSON格式的数据是否错误；

若确定解析正确，则对解析得到的数据进行封装；

判断KEY在配置信息Map对象中是否存在；其中，所述KEY是基于Topic名称与数据对象的属性拼接得到；所述配置信息Map对象是基于读取所述Maxwell组件的配置文件得到；

若判断结果为是，则将封装后的数据写入所述Hbase中。

8.根据权利要求7所述的方法，其特征在于，还包括：

若解析不正确，则将JSON格式的数据写入Hdfs；

若判断结果为KEY在配置信息Map对象中不存在，则将JSON格式的数据写入Hdfs。

9.根据权利要求1所述的方法，其特征在于，还包括：

将所述Hbase或所述Hive中的业务数据作为维表使用。

10.一种同步业务数据的设备，其特征在于，包括：

第一同步模块，用于通过Maxwell组件将作为业务数据的Mysql数据同步到Kafka集群；

第二同步模块，用于将所述Kafka集群中的数据同步到所述HBase；

映射模块，用于将存储在所述HBase中的表映射到Hive库，完成所述业务数据的同步。