[发明专利]一种台账服务数据整合方法和系统

权利要求书

1.一种台账服务数据整合方法，其特征在于，所述方法包括如下步骤：

开启canal监听台账服务mysql数据库的binglog日志；

获取binglog日志信息，将所述binglog日志信息解析后生成Json格式的监控数据发送到rocketmq；

rocketmq将所述Jison格式的监控数据发送给数据整合处理模块进行处理；

处理后生成具有标准数据结构的整合数据保存，并建立统一API用于调用整合数据。

2.根据权利要求1所述的一种台账服务数据整合方法，其特征在于，所述binglog日志信息解析生成Json格式数据的方法包括：

获取binglog日志的二进制信息，将所述binglog日志二进制信息发送给canal监听服务，通过所述canal监听服务解析生成Json格式数据，canal监听服务判断当前是否存在台账服务链接，若存在链接则将解析后的Json格式数据发送给Rocketmq。

3.根据权利要求1所述的一种台账服务数据整合方法，其特征在于，通过canal组件伪装成主数据库的从服务，当所述canal监听服务解析所述binglog日志二进制信息后，根据binglog日志二进制信息判断是否存在更新、删除和新增的台账数据，若存在则将所述更新、删除和新增的台账数据转化为json格式数据打包发送给Rocketmq。

4.根据权利要求1所述的一种台账服务数据整合方法，其特征在于，所述canal组件和mysql数据库包括独立部署，建立Apollo分布式配置中心，所述Apollo分布式配置中心集中管理应用环境和集群配置，并将修改后的配置推送到应用端。

5.根据权利要求1所述的一种台账服务数据整合方法，其特征在于，当检测到存在台账服务链接时，所述Rocketmq先启动NameServer集群，并进一步启动Broker，当Broker启动后向所述NameServer集群发送心跳数据包，其中所述心跳数据包包括IP、Port、TopicInfo。

6.根据权利要求5所述的一种台账服务数据整合方法，其特征在于，所述NameServer集群定期扫描Broker存活列表，设置心跳阈值，若所述NameServer接收到对应Broker的心跳时间间隔大于所述心跳阈值，则在Broker存活列表中移除对应Broker。

7.根据权利要求1所述的一种台账服务数据整合方法，其特征在于，在Rocketmq将json信息发送给整合处理模块时，获取topic在Broker Master的存储位置，并根据所述存储位置消息生产者producer和所述NameServer集群中的一个节点建立长连接。

8.根据权利要求1所述的一种台账服务数据整合方法，其特征在于，当数据整合处理模块在获取到json格式的数据后，根据所述json格式数据的类型对存储的结构化数据进行更新、删除和增加操作。

9.一种台账服务数据整合系统，其特征在于，所述系统执行权利要求1-8中任意一项所述的一种台账服务数据整合方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理器执行所述权利要求1-8中任意一项所述的一种台账服务数据整合方法。