[发明专利]一种基于峰值预测的云计算集群监控方法及系统

说明书

本发明公开了一种基于峰值预测的云计算集群监控方法及系统，数据采集端，负责各个节点服务器系统性能信息、服务以及Docker容器、Ceph分布式文件系统等的采集，通过周期性地对当前节点服务器的CPU利用率、内存利用率、磁盘使用率、服务状态和日志、Docker容器的资源占用情况、Ceph运行状态及集群信息等进行动态采集；数据发送和接收端，负责发送数据采集端收集的各类信息到管理节点，数据发送和接收端运行在管理节点上，监听和接收各节点服务器发送的实时数据；数据存储端，采用whisper作为存储后端，使用时序数据库存储管理节点收到的数据。本发明可以准确的进行预测分析，从而预估出集群中有可能出现的问题，有效降低维护成本，提高集群服务器的稳定性和可靠性。

技术领域

本发明属于监控技术领域，具体涉及一种基于峰值预测的云计算集群监控方法及系统。

背景技术

随着云计算技术越来越多地应用到信息产业的各个领域，云计算环境下对服务器集群的监测与管理的需求越来越大。云计算下的集群服务器系统主要是通过一系列基于分布式架构的服务器集群组成，要管理好集群服务器系统，保证其高性能运行，必然需要一套有效的云计算集群监控系统对其进行监测与调控。

为了便于用户对基于嵌入式硬件的服务器集群的监测与管理以及加强整个集群的稳定性，一套有效并且具有高可靠性的云资源监控系统是必不可少的。对于大型服务器集群来说，若有一个节点出现故障，则极有可能引起集群系统的大面积瘫痪，因此为了避免出现对服务器集群管理的反馈滞后问题，需要一个准确性高的峰值预测算法对各个服务器中的重要指标进行预测分析，以便于管理员及时处理故障。

目前常使用的数据采集方式多为使用一些全面复杂的采集工具，这些工具由于有代码繁杂、接口种类过多的缺点，并不能完全适配于嵌入式环境下的服务器集群。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于峰值预测的云计算集群监控方法及系统，在实现对集群中各个节点中相关数据指标进行采集、发送和接收以及存储的功能之后，使用前端界面图表将所获取的数据进行展示，并且准确预测时序序列数据的态势，并实时获取峰值数据点，最终实现预警功能，从而提高整个集群的可靠性。

本发明采用以下技术方案：

一种基于峰值预测的云计算集群监控系统，包括：

数据采集端，负责各个节点服务器系统性能信息、服务以及Docker容器、Ceph分布式文件系统等的采集，通过周期性地对当前节点服务器的CPU利用率、内存利用率、磁盘使用率、服务状态和日志、Docker容器的资源占用情况、Ceph运行状态及集群信息等进行动态采集；

数据发送和接收端，负责发送数据采集端收集的各类信息到管理节点，数据发送和接收端运行在管理节点上，监听和接收各节点服务器发送的实时数据；

数据存储端，采用whisper作为存储后端，使用时序数据库存储管理节点收到的数据。

具体的，数据采集端包括CPU收集子模块、内存收集子模块、I/O收集子模块、磁盘收集子模块、Ceph子模块、服务子模块和Docker容器子模块。

进一步的，CPU收集子模块用于收集节点CPU的实时状态，读取/proc/stat文件，/proc/stat文件包含了所有CPU活动的信息，该文件中的所有值从系统启动开始累计到当前时刻；内存收集子模块用于收集节点的实时内存信息，读取/proc/stat文件；I/O收集子模块用于收集集群的I/O状态，读取/proc/diskstats文件；磁盘收集子模块用于收集集群的磁盘信息，读取/proc/diskstats文件；Ceph子模块用于对Ceph分布式文件系统状态的监测；服务子模块用于对系统中apache服务器进程进行检测；Docker容器子模块用于对Docker容器的CPU使用率、内存使用状况、网络流量进行监测。

具体的，数据发送和接收端包括：