[发明专利]一种可扩展的大数据高可用的实现方法

说明书

本发明涉及一种可扩展的大数据高可用的实现方法，包括以下步骤，在Zookeeper中构建第一数据目录结构，并为每个节点配置两个控制器，分别为主控制器和备控制器；初始时，设置主控制器为激活进程；当主控制器宕机时，则主控制器在第一数据目录结构中创建的临时节点被超时删除；备控制器收到临时节点被超时删除的通知后，在第一数据目录结构中重新创建临时节点，并接管成为激活进程；备控制器接管成为激活进程的同时，重新拉起主控制器的进程。本发明利用Zookeeper的特性，节点进行了分布式处理，每个节点的信息通过Zookeeper来共享和监视，做到每个进程服务高可用。

技术领域

本发明涉及大数据领域，具体涉及一种可扩展的大数据高可用的实现方法。

背景技术

现有技术中涉及一种Nginx服务器负载均衡的实现方法，通过Nginx服务器采用触发式机制动态地更新后端服务器集群的资源信息，然后根据后端服务器集群的资源信息及不同的业务类型，计算后端服务器在各种业务类型下的负载值，选择该Http请求所属的业务类型中负载值最小的后端服务器处理该Http请求。同时，Nginx服务器负载均衡系统能够合理的对用户请求进行分配，使后端服务器集群的负载处于相对均衡的状态，从而起到合理利用服务器资源的目的。图1是现有技术中负载均衡方法的网络拓扑图，用户通过终端接入Internet访问所需服务，负载均衡依赖Nginx服务器分流访问请求至服务器集群的服务器。图2为现有技术中负载均衡方法的流程图，其具体流程为：S1、Nginx服务器通过触发式机制更新后端服务器集群的资源信息，资源信息包括服务器的CPU利用率、内存利用率、磁盘I/O利用率及网络带宽利用率；S2、Nginx服务器接收到客户端的Http请求后，采用负载均衡算法选择后端服务器处理Http请求，并将服务器处理结果返回给客户端；S3、负载均衡算法根据不同的业务类型及后端服务器集群的资源信息，计算后端服务器在各种业务类型下的负载值，选择该Http请求所属的业务类型中负载值最小的后端服务器处理该Http请求。

上述现有的Nginx服务器负载均衡的实现方法和系统存在的缺点是：

1.只能解决Http请求的负载均衡，且不具备可扩展性：上述负载均衡方法是利用Nginx服务器接收Http请求进行URL解析后，按照调度算法进行负载分配，解决负载均衡问题。方法中未提及在非Http请求的情况下的负载均衡问题如何解决，如RMI、JMS、RPC等。方法中仅仅是指出了Http请求的负载均衡处理流程，对于非Http请求没有可扩展的接口或者服务，因此该方案亦不具备扩展性。

2.没有高可用功能和弹性伸缩机制，且不是分布式集群：上述负载均衡方法解决了大量用户通过Http请求进行访问时负载均衡至后端服务群集群中，这个是建立在Nginx服务器正常工作的前提下。如果Nginx服务器因各种原因宕机后，Http请求将不能按时正常的发送至后端服务器集群，导致用户访问异常。

由于依赖Nginx服务器的负载均衡，需要提前确定好后端服务器集群数量，进行服务器资源信息收集，按照算法进行负载分配。因此后端服务器集群不具备动态扩展功能，若再增加一个后端服务器，需要修改Nginx服务器配置并重启，导致用户一段时间不能访问所需服务。在用户访问量较少的时期，后端服务器集群必须保持都在运行状态，浪费资源，不能做到动态减少后端服务器数量重新均衡负载。

对于后端集群和Nginx服务器没有采用分布式思想，导致后端集群的负载均衡不能自由伸缩，Nginx服务器不具备高可用功能。

发明内容

本发明所要解决的技术问题是提供一种可扩展的大数据高可用的实现方法，解决用户在不同业务场景和多种通信协议下开发节点高可用的问题。

本发明解决上述技术问题的技术方案如下：一种可扩展的大数据高可用的实现方法，包括以下步骤，

在Zookeeper中构建第一数据目录结构，并为每个节点配置两个控制器，分别为主控制器和备控制器；