[发明专利]一种同步业务数据的方法和设备

说明书

本发明涉及一种同步业务数据的方法和设备，该方法包括：通过Maxwell组件将作为业务数据的Mysql数据同步到Kafka集群；将所述Kafka集群中的数据同步到所述HBase；将存储在所述HBase中的表映射到Hive库，完成所述业务数据的同步。本申请的方案，采用Maxwell的同步方式，对正在运行的业务没有任何影响、有更低的延迟、能够支持更多的并发、且具有更好的灵活性。

技术领域

本发明涉及数据同步技术领域，具体涉及一种同步业务数据的方法和设备。

背景技术

目前，大数据被广泛应用，而为大数据在构建各种模型及实时分析场景下提供维表数据支撑，维表数据是实时同步存储在关系型数据库中的各种业务数据。大数据在采用星形、星座等模型进行建模时，对于维表数据会使用到业务部门存储在关系型mysql数据库表中的业务数据，且业务数据存在变更特性，由此现有技术中存在以下同步方式：

采用关系型mysql数据库支持的主从同步；

采用API接口的方式全量或增量同步；

但是传统同步关系型mysql数据库表数据方式存在以下问题：使用mysql的主从同步：这种方式是将业务使用的主mysql实例数据同步到从mysql实例中供大数据使用，该方式具有高耦合性，因为每次调整主mysql实例配置文件(my.cnf)中要同步的库表信息后，都需要重启主mysql实例服务，对正在使用的业务有较大影响；

至于使用API接口的方式同步：这种方式需要编写API程序读取mysql业务库表数据，然后同步到目标Mysql实例中。如果采用每天全量同步一次，数据会存在较大延迟；如果采用增量同步，对主mysql实例业务库表的结构设计有较大依赖(比如要有更新时间戳字段)；由于要同步的每个业务表的结构不同，导致每新增表都要对其进行开发，这种同步方式的开发工作量较大。

由此，目前需要一种更好的同步方式来进行业务数据的同步。

发明内容

本发明提供一种同步业务数据的方法和设备，能够解决现有的技术问题，对正在运行的业务没有任何影响、有更低的延迟、能够支持更多的并发、且具有更好的灵活性。

本发明解决上述技术问题的技术方案如下：

本发明实施例还提出了一种同步业务数据的方法，包括：

通过Maxwell组件将作为业务数据的Mysql数据同步到Kafka集群；

将所述Kafka集群中的数据同步到所述HBase；

将存储在所述HBase中的表映射到Hive库，完成所述业务数据的同步。

在一个具体的实施例中，所述“通过Maxwell将作为业务数据的Mysql数据同步到Kafka集群”，包括：

采用Maxwell组件实时拉取Mysql的binlog日志；

通过所述Maxwell组件将所述binlog日志解析成JSON格式，并将JSON格式的数据发送到Kafka集群中的topic中。

在一个具体的实施例中，在“采用Maxwell组件实时拉取Mysql的binlog日志”，之前还包括：

在业务数据所在的Mysql开启binlog日志配置；

部署Maxwell组件，修改所述Maxwell组件的配置文件并启动，以使所述Maxwell组件执行“实时拉取Mysql的binlog日志”的操作。

在一个具体的实施例中，所述在业务数据所在的Mysql开启binlog日志配置是通过修改my.cnf文件实现的。

在一个具体的实施例中，修改所述Maxwell组件的配置文件包括：