[发明专利]一种分布式云数据集中处理方法

说明书

本发明公开一种分布式云数据集中处理方法，涉及数据处理技术领域；利用Mysql的纵向与横向扩展的形式进行数据拆分存储，使数据库集群分别处理相关分类的数据，利用Canal将数据采集节点部署到分布式云，进行数据自动增量采集，并通过kafka进行数据实时传输，通过区分不同的数据类型实现数据自动分类，将自动分类处理后的数据异步通知分摊到分布式云的不同节点进行并行多线程数据计算。

技术领域

本发明公开一种处理方法，涉及数据处理技术领域，具体地说是一种分布式云数据集中处理方法。

背景技术

云计算业务支撑系统(Business Support Systems，简称BSS)，是一种业务中台，它对内与IaaS、PaaS应用对接，对外为企业用户、个人用户、政府用户服务。随着近几年云计算的高速发展，云系统从单一的私有云发展到公有云，最后发展到分布式云，规模不断扩大，为了对所有节点的云服务提供业务支撑(包含私有云、公有云、工业互联网等)，出现了集中性的中心节点管理系统(简称MBSS),负责统一的管理标准数据，收集业务数据，承担着业务大脑的功能。

数据库技术与消息通信技术是MBSS的核心技术，解决海量数据存储与高效查询的问题，并需要处理消息通信，还有数据容灾与恢复等重要功能。在业务飞速增长的背景下，相关的数据表为TB级别，每日新增为千万级别，对MBSS整体的数据集中处理需求非常大，然而现有的方法受数据壁垒、计算逻辑、网络结构等多个方面的限制，在数据急剧增加的背景下不再适用，不能有效处理现有数据。

发明内容

本发明针对现有技术的问题，提供一种分布式云数据集中处理方法，结合mysql技术，为云计算支撑平台提供最强大的数据支撑与极佳的速度体验，使数据发挥更大的价值。

本发明提出的具体方案是：

一种分布式云数据集中处理方法：利用Mysql的纵向与横向扩展的形式进行数据拆分存储，使数据库集群分别处理相关分类的数据，

利用Canal将数据采集节点部署到分布式云，进行数据自动增量采集，并通过kafka进行数据实时传输，通过区分不同的数据类型实现数据自动分类，

将自动分类处理后的数据异步通知分摊到分布式云的不同节点进行并行多线程数据计算。

优选地，所述的一种分布式云数据集中处理方法中利用Mysql进行数据的分表拆分存储，包括垂直分表存储和水平分表存储，垂直分表存储对同一个业务的数据列拆分存储到多张表，水平分表存储按照数据的字段的取值不同将数据划分到不同的数据表中。

优选地，所述的一种分布式云数据集中处理方法中利用mycat代理中间件进行水平分表存储。

优选地，所述的一种分布式云数据集中处理方法中通过rabbitmq技术对数据进行分发到分布式云的不同节点，通过java的ForkJoinThreadPool实现多线程业务数据的生产。

优选地，所述的一种分布式云数据集中处理方法中利用Mysql定时对数据库进行增量备份，并在异常时进行数据恢复。

优选地，所述的一种分布式云数据集中处理方法中通过Mysql使用xtrabackup工具定时对数据库进行增量备份，并根据数据恢复指令获取发生误操作的二进制日志的日志点在异常时进行数据恢复。

一种分布式云数据集中处理系统，包括拆分存储模块、采集分类模块、分发模块及计算模块，

拆分存储模块利用Mysql的纵向与横向扩展的形式进行数据拆分存储，使数据库集群分别处理相关分类的数据，

采集分类模块利用Canal将数据采集节点部署到分布式云，进行数据自动增量采集，并通过kafka进行数据实时传输，通过区分不同的数据类型实现数据自动分类，