[发明专利]一种台账服务数据整合方法和系统

说明书

本发明公开了一种台账服务数据整合方法和系统，所述方法包括如下步骤：开启canal监听台账服务mysql数据库的binglog日志；获取binglog日志信息，将所述binglog日志信息解析后生成Json格式的监控数据发送到rocketmq；rocketmq将所述Jison格式的监控数据发送给数据整合处理模块进行处理；处理后生成具有标准数据结构的整合数据保存，并建立统一API用于调用整合数据。所述方法和系统利用canal伪装成mysql的从库，用于监听mysql主服务器的binglog日志，进一步根据rocketmq将监听到的数据输入到数据处理系统中进行统一格式的台账服务数据，从而可以建立规范的统一的台账服务数据集，提高数据的可利用性。

技术领域

本发明涉及大数据技术领域，特别涉及一种台账服务数据整合方法和系统。

背景技术

目前在的微服务架构所产生的台账服务数据散落在各个服务当中，大量无用的信息，需要各个系统对数据加以清洗才能利用，同时拖慢了整个系统的响应时间。现有的大数据方案有着具大的开发人工成本和经济成本同时有着不小的技术难度。

发明内容

本发明其中一个发明目的在于提供一种台账服务数据整合方法和系统，所述方法和系统利用canal伪装成mysql的从库，用于监听mysql主服务器的binglog日志，进一步根据rocketmq将监听到的数据输入到数据处理系统中进行统一格式的台账服务数据，从而可以建立规范的统一的台账服务数据集，提高数据的可利用性。

本发明另一个发明目的在于提供一种台账服务数据整合方法和系统，所述方法和系统通过数据处理系统根据不同业务规则将台账数据清洗后，在满足不同业务规则的条件下对同一类型业务规则的台账数据以相同的数据格式存储，并提供统一的查询接口，从而便于后续台账数据的分类查询利用。

本发明另一个发明目的在于提供一种台账服务数据整合方法和系统，所述方法和系统通过引入Apollo分布式配置中心，可以实现集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限管理。

为了实现至少一个上述发明目的，本发明进一步提供一种台账服务数据整合方法，所述方法包括如下步骤：

开启canal监听台账服务mysql数据库的binglog日志；

获取binglog日志信息，将所述binglog日志信息解析后生成Json格式的监控数据发送到rocketmq；

rocketmq将所述Jison格式的监控数据发送给数据整合处理模块进行处理；

处理后生成具有标准数据结构的整合数据保存，并建立统一API用于调用整合数据。

根据本发明其中一个较佳实施例，所述binglog日志信息解析生成Json格式数据的方法包括：

获取binglog日志的二进制信息，将所述binglog日志二进制信息发送给canal监听服务，通过所述canal监听服务解析生成Json格式数据，canal监听服务判断当前是否存在台账服务链接，若存在链接则将解析后的Json格式数据发送给Rocketmq。

根据本发明另一个较佳实施例，通过canal组件伪装成主数据库的从服务，当所述canal监听服务解析所述binglog日志二进制信息后，根据binglog日志二进制信息判断是否存在更新、删除和新增的台账数据，若存在则将所述更新、删除和新增的台账数据转化为json格式数据打包发送给Rocketmq。

根据本发明另一个较佳实施例，所述canal组件和mysql数据库包括独立部署，建立Apollo分布式配置中心，所述Apollo分布式配置中心集中管理应用环境和集群配置，并将修改后的配置推送到应用端。