[发明专利]分布式统计分析系统的配置方法及分布式统计分析系统

说明书

本发明涉及分布式统计分析系统技术领域，具体为分布式统计分析系统的配置方法及分布式统计分析系统，该配置方法包括以下步骤：步骤一、选举计算节点集群中的领导节点，根据数据分片原则在各个计算节点中分片数据，并在数据分片的副本中选举领导分片；步骤二、服务节点收到统计分析请求后，向领导节点申请由内部服务器运行的内部计算节点，能够在统计分析任务繁重时，利用基于外部服务器的外部计算节点，进而大大提高分布式统计分析系统的运算能力，加速对数据的统计分析；并且，在对外部计算节点进行传输时，先进行明文加密，再压缩，能够保障统计任务的安全传输，同时缩减传输时的流量消耗，安全性能高。

技术领域

本发明涉及分布式统计分析系统技术领域，具体为分布式统计分析系统的配置方法及分布式统计分析系统。

背景技术

分布式系统是一种由多个处理资源相互连接在一起的计算机系统。这些处理资源又可以称为节点设备，在统一的控制下来执行同一任务。如中国专利CN102497280就公开了一种分布式系统，其能够实现多个设备节点之间的相互感知。提高了管理效率。分布式系统通常需要具备统计分析的功能。申请号为2017101050317的一项中国专利公开了一种分布式统计分析系统的配置方法，所述分布式统计分析系统包括ZooKeeper集群，服务节点和计算节点集群，所述方法包括：选举计算节点集群中的领导节点，根据数据分片原则在各计算节点中分片数据，并在数据分片的副本中选举领导分片；服务节点收到统计分析请求后，向领导节点申请计算节点。

但是目前的分布式统计系统中只通过自身内部的服务器设备进行分配统计分析任务，随着统计请求的任务逐渐增加，在统计分析任务繁重时，传统的分布式系统会花费较长的时间，并且，在数据传输时，对统计任务的安全难以实施。

发明内容

为了解决上述的问题，本发明提供分布式统计分析系统的配置方法及分布式统计分析系统。

本发明提供了一种技术方案：一种分布式统计分析系统的配置方法，该配置方法包括以下步骤：

步骤一、选举计算节点集群中的领导节点，根据数据分片原则在各个计算节点中分片数据，并在数据分片的副本中选举领导分片；

步骤二、服务节点收到统计分析请求后，向领导节点申请由内部服务器运行的内部计算节点，内部计算节点的任务量处于饱和时，向领导节点申请由外部服务器运行的外部计算节点；

步骤三、领导节点将内部计算节点和外部计算节点反馈给服务节点；服务节点获得反馈的内部计算节点和外部计算节点后，将统计请求发送给该内部计算节点和外部计算节点；内部计算节点和外部计算节点查找领导分片并向领导分片申请得到空闲的数据分片副本，并将统计任务分配给该数据分片副本执行统计任务。

优选的，在步骤三中，服务节点向外部计算节点发送统计请求前，通过明文加密方法将统计请求加密，在外部计算节点处通过密文解密秘钥进行解码，以避免统计请求在传输的途中被截获导致统计请求外泄。

优选的，所述服务节点与外部计算节点间通过多频段跳频的WiFi级联技术连接。

优选的，所述服务节点所产生的数据流量由流量实时监控系统检测，同时通过预设告警阈值，在流量异常时发现，主动发出告警。

优选的，所述加密后的统计请求经过压缩后再进行发送，到达外部计算节点处解压缩。

优选的，所述内部计算节点只能通过指定的服务节点访问，通过访问地址的限制和账号控制来防止其他服务节点的访问，对其他的服务节点进行屏蔽。