[发明专利]多层次的分布式集群系统

说明书

技术领域

本发明涉及一种分布式系统，尤其涉及一种具有多个层次的分布式集群系统。

背景技术

在分布式系统中存在局部负载均衡集群技术和一致性哈希(hash)算法技术。

局部负载均衡集群技术是由若干台普通服务器组成的集合，该集合对外呈现同一出口，并能够在集合内部机器之间根据某种算法进行负载均衡。

一致性哈希算法具有单调性的特点，单调性是指如果已经有一些内容通过哈希分派到了相应的缓冲中，又有新的缓冲加入到系统中。哈希的结果应能够保证原有已分配的内容可以被映射到新的缓冲中去，而不会被映射到旧的缓冲集合中的其他缓冲区。

目前在局部负载均衡集群技术上，往往只是采用简单的轮询策略或者根据机器的连接数或者负载进行均衡，该种均衡最大的问题是，每台服务器都是等价的，即每台服务器需要存储相同的内容；目前也有根据内容进行分配的策略，不过当集群中设备增减时会造成内容的迁移

发明内容

本发明的目的在于解决上述问题，提供了一种多层次的分布式集群系统，解决了普通负载均衡技术的基于轮询策略或者基于内容哈希可能发生的内容迁移，采用了分层次的负载均衡技术，结合使用轮询策略以及一致性哈希算法，解决了集群的扩展性、内容迁移等问题。

本发明的技术方案为：本发明揭示了一种多层次的分布式集群系统，包括位于系统前端的传输层负载均衡器、位于系统中间层的URL一致性哈希均衡器、位于系统后端的真实服务器，其中：

传输层负载均衡器，接收客户端发送的请求数据并进行负载均衡，将客户端请求分配到中间层的URL一致性哈希均衡器；

URL一致性哈希均衡器，耦接该传输层负载均衡器，接收来自该传输层负载均衡器分配的客户端的请求数据，通过一致性哈希算法将相同的URL被分配到相同的真实服务器上进行服务；

真实服务器，耦接该URL一致性哈希均衡器，用于存储数据。

根据本发明的多层次的分布式集群系统的一实施例，该传输层负载均衡器通过轮询策略将客户端请求分配到中间层的URL一致性哈希均衡器。

根据本发明的多层次的分布式集群系统的一实施例，该传输层负载均衡器进一步包括：

数据接收模块，接收客户端发送的请求数据；

连接记录模块，耦接该数据接收模块，将客户端传输层协议中的连接信息进行记录，以识别后续的相同连接的请求数据；

第一请求调度模块，耦接该连接记录模块，根据负载均衡算法和URL一致性哈希均衡器的健康状态将客户端请求转向某一URL一致性哈希均衡器；

第一后端监控模块，耦接该第一请求调度模块，对配置的URL一致性哈希均衡器进行健康状态的检测，并提供检测结果供该请求调度模块进行决策；

数据转发模块，耦接该第一请求调度模块，将客户端的请求数据转发给URL一致性哈希均衡器。

根据本发明的多层次的分布式集群系统的一实施例，客户端传输层协议中的连接信息包括客户端IP、客户端端口号、目标IP、目标IP端口号、分配到URL一致性哈希均衡器IP、分配到的URL一致性哈希均衡器端口号。

根据本发明的多层次的分布式集群系统的一实施例，该客户端传输层协议是TCP/UDP协议。

根据本发明的多层次的分布式集群系统的一实施例，该URL一致性哈希均衡器进一步包括：

请求接收模块，接收客户端发送的请求数据；

HTTP头请求解析模块，耦接该请求接收模块，解析客户端的HTTP请求头中的信息；

第二请求调度模块，根据URL一致性哈希算法和后端的真实服务器的健康状态将客户端请求转向某一真实服务器；

第二后端监控模块，耦接该第二请求调度模块，对配置的真实服务器进行健康状态的检测，并提供检测结果供该第二请求调度模块进行决策；

请求转发模块，耦接该第二请求调度模块，将客户端的请求数据转发给后端的真实服务器；

数据接收模块，耦接该请求转发模块，接收后端的真实服务器的返回数据，并判断数据发送是否结束；

数据发送模块，耦接该数据接收模块，将数据发送到客户端，完成客户端的请求。

根据本发明的多层次的分布式集群系统的一实施例，该HTTP头请求解析模块还提取请求的URL、请求的主机名、请求是否为持久连接的信息。

根据本发明的多层次的分布式集群系统的一实施例，该真实服务器中的存储设备包括内存、高速磁盘和低速磁盘，该真实服务器根据文件的访问情况将文件存储在不同类型的存储设备中。