[发明专利]分布式统计分析系统的配置方法及分布式统计分析系统

说明书

本发明公开了一种分布式统计分析系统的配置方法，所述分布式统计分析系统包括ZooKeeper集群，服务节点和计算节点集群，所述方法包括：选举计算节点集群中的领导节点，根据数据分片原则在各计算节点中分片数据，并在数据分片的副本中选举领导分片；服务节点收到统计分析请求后，向领导节点申请计算节点，领导节点将任务量最小的计算节点反馈给服务节点；服务节点获得反馈的计算节点后，将统计请求发送给该计算节点；计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务。本发明还提供了基于上述配置方法的分布式统计分析系统。

技术领域

本发明涉及一种分布式统计分析系统的配置方法，特别是一种配置集群管理、数据存储及迁移、统计分析查询和统计任务负载分担功能的配置方法，以及由该配置方法得到的分布式统计分析系统。

背景技术

分布式系统是一种由多个处理资源相互连接在一起的计算机系统。这些处理资源又可以称为节点设备，在统一的控制下来执行同一人物。如中国专利CN102497280就公开了一种分布式系统，其能够实现多个设备节点之间的相互感知。提高了管理效率。但是其并没有公开对各设备节点具体执行任务的管理和配置。

分布式系统通常需要具备统计分析的功能。但是目前的分布式统计系统中并没有根据处理资源的实际运行情况来在设备节点之间分配统计分析任务。因此会发生处理资源没有被充分利用的情况。

发明内容

本发明提供一种分布式统计分析系统的配置方法和由该配置方法得到的分布式统计分析系统。保证系统的高可用性和高可扩展性，并实现统计分析任务的负载分担。

为解决上述问题，第一方面，本发明提供一种分布式统计分析系统的配置方法，所述分布式统计分析系统包括ZooKeeper集群，服务节点和计算节点集群，所述方法包括：

选举计算节点集群中的领导节点，根据数据分片原则在各计算节点中分片数据，并在数据分片的副本中选举领导分片；

服务节点收到统计分析请求后，向领导节点申请计算节点，领导节点将任务量最小的计算节点反馈给服务节点；

服务节点获得反馈的计算节点后，将统计请求发送给该计算节点；

计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据片副本执行统计任务。

可选地或优选地， 所述方法还包括：

服务节点将更新的数据发送给领导节点，领导节点查找到对应的数据分片的所有副本并将数据同步到该数据分片的各个副本。

可选地或优选地，所述数据同步采用两阶段提交协议，若全部成功，则返回成功，若任一个副本失败，则回退并返回失败。

可选地或优选地， 所述方法还包括：在调整数据分片个数或分片规则的情况下，重新映射数据和数据分片的关系。

可选地或优选地，所述方法还包括在设备状态发生变化时，对分布式统计系统进行调整的步骤，所述调整包括以下至少一种：

当检测到设备故障时，检查各shard副本的个数及分布情况，若各shard副本的个数差别较大，则对shard进行分布调整和迁移，以保证各shard副本的个数的基本相同；以及

当检测到新设备加入时，检查各shard副本的个数和分布情况，若shard的副本的个数有差异，则将副本个数少的shard复制到新设备，若个数相同，则重新进行分片。

可选地或优选地，所述计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据片副本执行统计任务包括：