[发明专利]一种数据同步方法、装置、电子设备及存储介质

说明书

本申请公开了一种数据同步方法、装置、电子设备及存储介质，可应用于大数据领域或金融领域。利用伪造的MySQL从库从MySQL主库获取MySQL Binlog日志并进行解析得到Json增量日志数据，对Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据，并写入对应的Kafka Topic队列，按照预设目标数据同步规则订阅待同步Kafka Topic队列，获取其存放的Json日志数据并写入MySQL数据库或异构数据库中实现数据同步。本发明对MySQL Binlog日志进行完整解析，支持多个导出数据源，可实现横线扩展发送到不同数据库进行业务数据处理实现数据同步。

技术领域

本发明涉及数据处理技术领域，更具体的说，涉及一种数据同步方法、装置、电子设备及存储介质。

背景技术

目前，业务系统一般用MySQL数据库存储业务数据，在对业务数据(比如交易数据)进行查询时，一般使用Redis内存数据库，在对业务数据进行检索时，一般使用ElasticSearch等NoSQL数据库。由于存储业务数据的数据库与执行查询或检索等操作的数据库为不同的数据库，因此，面临着业务数据的来源端和使用端存在多种异构数据库及同构数据库间数据不同步的问题。

因此，如何实现多种异构数据库及同构数据库间数据同步成为本领域技术人员亟需解决的技术问题。

发明内容

有鉴于此，本发明公开一种数据同步方法、装置、电子设备及存储介质，以实现多种异构数据库及同构数据库间数据同步。

一种数据同步方法，包括：

伪造一个MySQL从库，由所述MySQL从库从MySQL主库获取MySQL Binlog日志；

对所述MySQL Binlog日志进行解析得到Json增量日志数据；

对所述Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据；

将所述Json日志数据写入对应的Kafka Topic队列；

按照预设目标数据同步规则订阅待同步Kafka Topic队列；

获取所述待同步Kafka Topic队列存放的Json日志数据作为目标Json日志数据；

将所述目标Json日志数据写入MySQL数据库或异构数据库中，实现数据同步。

可选的，所述伪造一个MySQL从库，由所述MySQL从库从MySQL主库获取MySQLBinlog日志，具体包括：

伪造一个所述MySQL从库；

根据待解析的MySQL Binlog位置确定与所述MySQL从库待建立连接的所述MySQL主库；

将所述MySQL从库和所述MySQL主库建立连接；

通过所述MySQL从库向所述MySQL主库发送Binlog dump指令；

获取所述MySQL主库响应所述Binlog dump指令返回的所述MySQL Binlog日志。

可选的，所述对所述MySQL Binlog日志进行解析得到Json增量日志数据，具体包括：

对所述MySQL Binlog日志采用MySQL Binlog协议进行解析，得到所述Json增量日志数据。

可选的，所述预设来源数据抽取规则至少包含来源表名和字段列表定义。

可选的，所述对所述Json增量日志数据按照预设来源数据抽取规则进行过滤和归并得到Json日志数据，具体包括：