[发明专利]分布式统计分析系统的配置方法及分布式统计分析系统

权利要求书

1.分布式统计分析系统的配置方法，所述分布式统计分析系统包括ZooKeeper集群，服务节点和计算节点集群，其特征在于，所述方法包括：

选举计算节点集群中的领导节点，根据数据分片原则在各计算节点中分片数据，并在数据分片的副本中选举领导分片；

服务节点收到统计分析请求后，向领导节点申请计算节点，领导节点将任务量最小的计算节点反馈给服务节点；服务节点获得反馈的计算节点后，将统计请求发送给该计算节点；计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务；

在调整数据分片个数或分片规则的情况下，重新映射数据和数据分片的关系；

数据迁移分为两种情况：复制分片的单个副本和修改分片个数重新分片；在数据迁移的过程中，不允许数据的更新操作；

在复制副本时，如果遇到设备故障或添加新设备的情况，若需要从领导分片同步数据，则采用复制整个副本的策略；

所述计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务包括：

执行计算任务的所述计算节点将统计作业拆分成多个任务，并根据分片规则将需要统计的ID列表进行分组，计算节点将任务和每组ID发送给对应的领导分片，由领导分片负责选择交由负载空闲的数据分片副本执行任务，在所有的任务执行完毕后，执行节点收集所有计算结果并对结果进行合并，继而返回给服务节点；如果统计作业需要多次访问数据，则由执行节点在收集合并结果后，根据统计作业需求再次进行任务拆分和结果合并，直到统计作业运行完毕为止。

2.根据权利要求1所述的分布式统计分析系统的配置方法，其特征在于，所述方法还包括：

服务节点将更新的数据发送给领导节点，领导节点查找到对应的数据分片的所有副本并将数据同步到该数据分片的各个副本。

3.根据权利要求2所述的分布式统计分析系统的配置方法，其特征在于，所述数据同步采用两阶段提交协议，若全部成功，则返回成功，若任一个副本失败，则回退并返回失败。

4.一种分布式统计分析系统，包括ZooKeeper集群，服务节点和计算节点集群，其特征在于，还包括：

集群管理模块，用于选举计算节点集群中的领导节点，根据数据分片原则在各计算节点中分片数据，并在数据分片的副本中选举领导分片；

统计分析模块，用于服务节点收到统计分析请求后，向领导节点申请计算节点，领导节点将任务量最小的计算节点反馈给服务节点；服务节点获得反馈的计算节点后，将统计请求发送给该计算节点；计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务；

在调整数据分片个数或分片规则的情况下，重新映射数据和数据分片的关系；

数据迁移分为两种情况：复制分片的单个副本和修改分片个数重新分片；在数据迁移的过程中，不允许数据的更新操作；

在复制副本时，如果遇到设备故障或添加新设备的情况，若需要从领导分片同步数据，则采用复制整个副本的策略；

所述计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务包括：

执行计算任务的所述计算节点将统计作业拆分成多个任务，并根据分片规则将需要统计的ID列表进行分组，计算节点将任务和每组ID发送给对应的领导分片，由领导分片负责选择交由负载空闲的数据分片副本执行任务，在所有的任务执行完毕后，执行节点收集所有计算结果并对结果进行合并，继而返回给服务节点；如果统计作业需要多次访问数据，则由执行节点在收集合并结果后，根据统计作业需求再次进行任务拆分和结果合并，直到统计作业运行完毕为止。

5.根据权利要求4所述的分布式统计分析系统，其特征在于，还包括：

数据存储模块，用于服务节点将更新的数据发送给领导节点，领导节点查找到对应的数据分片的所有副本并将数据同步到该数据分片的各个副本。

6.根据权利要求5所述的分布式统计分析系统，其特征在于，所述数据同步采用两阶段提交协议，若全部成功，则返回成功，若任一个副本失败，则回退并返回失败。