[发明专利]基于配置的数据监听同步方法

说明书

本发明涉及数据同步技术领域，特别涉及基于配置的数据监听同步方法，资产管理系统发生数据变更，MySQL的Master实例通过MySQL的主从同步Canal伪装成一个MySQL的Slave实例，推送到Kafka消息队列，读取配置文件信息，判断数据变更是否需要同步到资产证券化系统，持久化到资产证券化系统的数据库。与现有技术相比，本发明的基于配置的数据监听同步方法极大的提高消息的消费速度，进行实时数据同步，能够处理因资产管理系统定时任务或直接大批量更新数据导致资产证券化系统无需同步的消息堆积，无法实时同步需要变更数据的问题。

【技术领域】

本发明涉及数据同步技术领域，特别涉及基于配置的数据监听同步方法。

【背景技术】

目前基于mysql的binlog+canal+kafka跨系统数据实时同步中，如果业务系统A存在定时任务等导致频繁的批量大数据变更，业务系统B的数据消费远小于业务系统A的数据产生，数据同步无法实时同步到业务系统B，会导致消息队列堆积，无法实时消费消息。

【发明内容】

为了克服上述问题，本发明提出一种可有效解决上述问题的基于配置的数据监听同步方法。

本发明解决上述技术问题提供的一种技术方案是：提供一种基于配置的数据监听同步方法，用于将资产管理系统的资产信息同步到资产证券化系统，包括如下步骤：

步骤S1，资产管理系统发生数据变更，生成MySQL的Master实例；

步骤S2，MySQL的Master实例，通过MySQL的主从同步Canal伪装成一个MySQL的Slave实例；

步骤S3，MySQL的Slave实例通过连接器推送到Kafka消息队列；

步骤S4，读取配置文件信息，判断数据变更是否需要同步到资产证券化系统；

步骤S5，所述步骤S4中判断结果为需要同步，处理资产证券化系统数据库binlog的报文模式，持久化到资产证券化系统的数据库。

优选地，所述步骤S2中，包括如下步骤：

步骤S21，开启资产证券化系统数据库binlog，授权资产证券化系统从机权限；

步骤S22，Canal模拟MySQL Slave交互协议，伪装成MySQL Slave，向MySQL Master发送dump协议；

步骤S23，MySQL Master收到dump请求，开始推送binlog给到MySQL Slave，Canal解析binlog从而实现主从同步。

优选地，所述步骤S5中，包括如下步骤：

步骤S51，将配置文件需要的数据解析到资产证券化系统同步日志记录binlog；

步骤S52，将资产证券化系统同步日志记录binlog放入消息队列，消费消息队列；

步骤S53，读取消息队列放到pub数据库；

步骤S54，从pub数据库查询处理同步到asset数据库。

优选地，所述步骤S2中，MySQL复制采用基于sql的语句复制方式。

优选地，所述配置文件采用spring boot框架，把配置信息放在spring boot框架的application.properties，通过注解可读取。

优选地，所述配置信息为资产相关数据信息，包括资产、发票、资产关联供应商、买方、核心企业数据信息。

优选地，所述配置信息包括资产管理系统的表字段中不需要被同步的字段。