[发明专利]一种分布式云数据集中处理方法

权利要求书

1.一种分布式云数据集中处理方法，其特征是利用Mysql的纵向与横向扩展的形式进行数据拆分存储，使数据库集群分别处理相关分类的数据，

利用Canal将数据采集节点部署到分布式云，进行数据自动增量采集，并通过kafka进行数据实时传输，通过区分不同的数据类型实现数据自动分类，

将自动分类处理后的数据异步通知分摊到分布式云的不同节点进行并行多线程数据计算。

2.根据权利要求1所述的一种分布式云数据集中处理方法，其特征是利用Mysql进行数据的分表拆分存储，包括垂直分表存储和水平分表存储，垂直分表存储对同一个业务的数据列拆分存储到多张表，水平分表存储按照数据的字段的取值不同将数据划分到不同的数据表中。

3.根据权利要求2所述的一种分布式云数据集中处理方法，其特征是利用mycat代理中间件进行水平分表存储。

4.根据权利要求1-3任一所述的一种分布式云数据集中处理方法，其特征是通过rabbitmq技术对数据进行分发到分布式云的不同节点，通过java的ForkJoinThreadPool实现多线程业务数据的生产。

5.根据权利要求4所述的一种分布式云数据集中处理方法，其特征是利用Mysql定时对数据库进行增量备份，并在异常时进行数据恢复。

6.根据权利要求5所述的一种分布式云数据集中处理方法，其特征是通过Mysql使用xtrabackup工具定时对数据库进行增量备份，并根据数据恢复指令获取发生误操作的二进制日志的日志点在异常时进行数据恢复。

7.一种分布式云数据集中处理系统，其特征是包括拆分存储模块、采集分类模块、分发模块及计算模块，

拆分存储模块利用Mysql的纵向与横向扩展的形式进行数据拆分存储，使数据库集群分别处理相关分类的数据，

采集分类模块利用Canal将数据采集节点部署到分布式云，进行数据自动增量采集，并通过kafka进行数据实时传输，通过区分不同的数据类型实现数据自动分类，

分发模块将自动分类处理后的数据异步通知分摊到分布式云的不同节点，计算模块进行并行多线程数据计算。

8.一种分布式云数据集中处理装置，其特征是包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至6中任一所述的一种分布式云数据集中处理方法。