[发明专利]一种数据同步方法、装置、电子设备和可读存储介质

说明书

本申请涉及计算机数据处理技术领域，尤其涉及一种数据同步方法、装置、电子设备和可读存储介质，所述方法包括采集并上报MySQL数据库的第一数据信息将所述第一数据信息写入Kafka集群数据库；Storm集群消费所述Kafka集群中的第一数据信息并按照预设规则对消费的第一数据信息进行配置处理，获得第二数据信息；Storm集群将所述第二数据信息写入Hbase数据库。基于本申请的数据同步方案提高了Mysql与Hbase数据实时同步的准确性和可扩展性。

技术领域

本申请涉及计算机数据处理技术领域，尤其涉及一种数据同步方法、装置、电子设备和可读存储介质。

背景技术

随着业务的高速发展，各种各样的数据同步场景应运而生，其中为了使得MySQL数据库里的数据变更能在秒级同步到HBase数据库以为业务实时查询与数据分析提供支撑。目前现有技术主要是将MySQL关系型数据库里的变更数据通过Binlog机制同步到日志订阅工具，并经中间件Kafka消息群将变更数据同步至HBase数据库。但是由于软硬件基础环境故障、DDL更新等，上述现有技术的数据同步方案会导致写入和消费Kafka的数据可能会出现丢失、数据处理组件报错以及因数据传输过程中数据丢失造成MySQL与Hbase数据不一致等问题。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一。本申请所采用的技术方案如下：

第一方面，本申请实施例提供一种数据同步方法，所述方法包括：

采集并上报MySQL数据库的第一数据信息；

将所述第一数据信息写入Kafka集群数据库；

Storm集群消费所述Kafka集群中的第一数据信息并按照预设规则对消费的第一数据信息进行配置处理，获得第二数据信息；

Storm集群将所述第二数据信息写入Hbase数据库。

可选地，采集MySQL数据库第一数据信息包括：

采集MySQL数据库表结构信息和数据变动信息；

将所述采集的表结构信息和数据变动信息的DDL信息进行上报；

其中所述DDL信息包括：数据库名称、分库IP、数据表名称、DDL语句、SQL语句。

可选地，所述方法还包括：

根据接收的配置参数，控制所述采集MySQL数据库的第一数据信息的使能状态；其中所述配置参数包括用于控制采集使能的使能参数。

可选地，所述Storm集群按照预设规则对消费的第一数据信息进行配置处理包括：

按照接收的预设规则，对所述第一数据信息进行配置处理，其中所述配置处理包括：

对第一数据信息能够包括的表、元数据和字段进行过滤、映射、转换操作。

可选地，在所述Storm集群按照预设规则对消费的第一数据信息进行配置处理之前，所述方法还包括：

接收上报的DDL信息；

判断所述DDL信息需要处理；

判断缓存区不存在所述DDL信息中包括的DDL语句和SQL语句；

在所述Storm集群按照预设规则对消费的第一数据信息进行配置处理之后，所述方法还包括：

按照预定周期将所述第二数据信息进行缓存。

可选地，所述方法还包括：

获取预定时段内的MySQL数据库的第三数据信息；