[发明专利]一种开放式云计算大规模集群监控系统及方法

说明书

技术领域

本发明属于云计算技术领域，尤其涉及一种开放式云计算大规模集群监控系统及方法。

背景技术

监控系统能够辅助数据中心管理员及时了解与管理服务器集群，并在集群发生状况时能够更快的解决突发问题，保证云计算集群的安全、稳定与可靠。另外，监控系统基础框架中对于监控信息的获取模块，能够监控计算任务对于计算资源的消耗情况，为云计算计费系统提供基础服务与可靠保障。监控信息也为日后进行云端运行状况分析和改进提供了重要的参考依据。

当前主流的监控系统通常将监控信息存储在每一个节点上，之后发送广播进行监控信息的传送，这样会造成大量的数据冗余，而且有可能形成网络风暴。而本发明采用独立监控模块，集群中每个节点上的轻量级守护进程只负责发送监控信息，而所有数据处理及存储会在第三方监控系统中进行，从而使得对集群的压力降至最低。另外，监控服务器集群可以根据被监控集群的大小进行调整，如果集群规模较大，可将监控服务器中的几个子模块分别运行在不同的物理服务器中；反之，则可将子模块运行在同一个服务器中。

当前流行的监控系统ganglia，监控架构是将监控信息存储在每一个节点上，之后将该节点的监控信息广播，从而使得每一个节点上都存储了整个集群的监控信息。这样势必会造成大量的数据冗余，当节点的数量增加时，容易形成网络风暴，造成大量的网络资源与存储资源浪费。除此之外，现有的监控系统是静态对节点与集群信息进行监控，并不能实现实时动态的监控。

发明内容

本发明提供了一种开放式云计算大规模集群监控系统及方法，旨在解决现有的监控系统将监控信息存储在每一个节点上，造成大量的数据冗余，造成大量的网络资源与存储资源浪费以及不能实时动态监控的技术问题。

本发明提供的技术方案为：一种开放式云计算大规模集群监控系统，包括监控端、功能服务器集群和云平台服务器集群，所述监控端用于供用户选择要监控的对象，

功能服务器集群：用于接收监控端选择需要动态监控层次与监控对象，将监控指令下发；

云平台服务器集群：用于接收功能服务器集群的监控指令，将监控到的节点信息传送给功能服务器集群。

本发明的技术方案还包括：所述功能服务器集群包括消息队列服务器、中心服务器、网络服务器以及数据库服务器，所述消息队列服务器负责接收各个节点发送过来的数据，并按照中心服务器的需求来进程数据的递送；所述中心服务器用于将接收的数据进行数据持久化，并检查节点列表与监控数据流；所述网页服务器用于为用户监控提供可视化服务，并支持数据查询功能；所述数据库服务器用于进行大规模的数据分析、查询、插入等操作。

本发明的技术方案还包括：所述中心服务器包括：

数据持久化模块：负责将解包的数据进行持久化，并存入数据库服务器；

报警模块：负责检查节点列表与监控数据流，如果有触发报警的条件，则将报警信息发送到网页服务器；

节点列表更新模块：负责收集节点信息，并将其更新到节点列表之中；

节点列表分析模块：负责不间断的分析节点列表状态，对于新加入的节点，退出的节点信息通过报警模块发送到网页服务器。

本发明的技术方案还包括：所述数据库服务器的数据库采用MongoDB，包括主节点和多个从节点，所述从节点与主节点的数据进程同步。

本发明的技术方案还包括：所述网页服务器包括数据池，所述数据池用于存储整个集群中所有节点监控信息的最新值。

本发明的技术方案还包括：所述云平台服务器集群包括虚拟机集群和物理机集群，所述虚拟机集群和物理机集群包括至少一个虚拟机和物理机，所述虚拟机与对应的物理机进行通讯。

本发明的技术方案还包括：所述云平台服务器集群包括数据收集单元、控制单元、数据封装单元、监听单元和系统参数XML配置单元；所述数据收集单元对系统进行解析，提取出有用的监控数据；所述控制单元根据功能服务器集群的指令对进程进行控制、守护或开发；所述数据封装单元用于完成监控数据的转换与封装，方便发送模块进程数据传送，所述监听单元负责监听从数据队列服务器发送过来的指令，并将其传入相应的模块；所述系统参数XML配置单元主要负责系统基本参数的配置。