[发明专利]一种数据汇聚集群管理系统及方法

说明书

本发明公开了一种数据汇聚集群管理系统及方法，涉及数据汇聚系统领域，所述数据汇聚集群管理系统包括数据汇聚与上报管理模块、信息持久化管理模块和REST通讯模块；所述数据汇聚与上报管理模块又包括数据汇聚服务信息管理模块和数据上报信息管理模块；所述数据汇聚与上报管理模块与所述信息持久化管理模块之间保持信息的双向流通；所述数据汇聚与上报管理模块也与所述REST通讯模块之间保持信息的双向流通；所述REST通讯模块与数据汇聚服务连接；所述REST通讯模块与数据上报服务连接。本发明采用动态加静态负载方式，减少主站点服务器压力并且保证了每个数据汇聚服务负载均衡，从根本上解决项目扩展性和维护成本过高的问题，降低项目实现技术难度。

技术领域

本发明涉及数据汇聚系统领域，尤其涉及一种数据汇聚集群管理系统及方法。

背景技术

在智能安防领域中一个非常重要的系统就是数据汇聚系统。数据汇聚系统的建设是市级、区县级智慧城市总体工程建设的重要组成部分，通过平台建设，可完成市级、区县级智慧城市核心技术平台的搭建，并为后续的各行业应用建设奠定坚实的技术基础。数据汇聚系统作为市级、区县级智慧城市整体架构下的基础平台，将分散在各部门的业务数据进行加工处理、分析挖掘形成统一的、完整的、有序的数据资产体系，通过共享交换，实现跨行业、跨部门、跨区域的综合应用和数据共享。对与大数据量汇聚单机已经无法满足性能要求，目前使用集群汇聚系统接收各个平台业务数据，对于集群负责管理目前市场有以下几种常见方法：

一、HTTP重定向

当HTTP代理(比如浏览器)向web服务器请求某个URL后，web服务器可以通过HTTP响应头信息中的Location标记来返回一个新的URL。这意味着HTTP代理需要继续请求这个新的URL，完成自动跳转。

二、DNS负载均衡

DNS负责提供域名解析服务，当访问某个站点时，实际上首先需要通过该站点域名的DNS服务器来获取域名指向的IP地址，在这一过程中，DNS服务器完成了域名到IP地址的映射，同样，这样映射也可以是一对多的，这时候，DNS服务器便充当了负载均衡调度器，它就像HTTP重定向转换策略一样，将用户的请求分散到多台服务器上，但是它的实现机制完全不同。

三、反向代理负载均衡

几乎所有主流的Web服务器都热衷于支持基于反向代理的负载均衡。它的核心工作就是转发HTTP请求。相比前面的HTTP重定向和DNS解析，反向代理的调度器扮演的是用户和实际服务器中间人的角色：1、任何对于实际服务器的HTTP请求都必须经过调度器。2、调度器必须等待实际服务器的HTTP响应，并将它反馈给用户(前两种方式不需要经过调度反馈，是实际服务器直接发送给用户)。

但是，以上三种现有常用方法仍存在一定缺陷。HTTP重定向受HTTP吞吐率限制，尤其对于较大数据汇聚服务需求，则相应的需要增加数据汇聚服务器的数量才可以满足。DNS负载均衡则由于无法得知解析到哪一台实际服务器而增加服务器运维人云的调试困难度。反向代理则对并发处理能力的要求比较高。

因此，本领域的技术人员致力于开发一种数据汇聚集群管理系统及方法，减少主站点服务器压力并保证每个数据汇聚服务负载平衡，且无需DNS或其他附加条件，减少运维压力，降低维护成本。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何减少主站点服务器压力的同时，保证每个数据汇聚服务的负载平衡，并降低维护成本，减少运维压力。

为实现上述目的，本发明提供了一种数据汇聚集群管理系统，包括数据汇聚与上报管理模块、信息持久化管理模块和REST通讯模块；