[发明专利]基于大规模云计算平台的自适应资源监控系统及其方法

说明书

技术领域

本发明涉及到云计算技术领域，尤其是一种基于大规模云计算平台的自适应资源监控系统及其方法。

背景技术

云计算自从2007正式提出，才引起了学术界的注意，而之前它就已经以商业应用模式为用户提供了云服务，学术界对云计算的研究相对滞后。云计算是分布式计算(Distributed Computing)、并行计算(Parallel Computing)和网格计算(Grid Computing)的继续发展。目前云计算主要有三种商业应用模式：IaaS(Infrastructure as a Service：基础设施即服务)、PaaS和SaaS(Software as a Service：软件及服务)，它们的出现及云计算本身的按需服务、高可靠性、高可扩展性、通用性及廉价等特点，越来越多的用户和企业开始关注和使用云计算提供的服务，云计算作为下一代互联网模式的趋势得到了用户和商业界的承认。

云计算环境下的集群节点是松散耦合的，要提供高质量的服务就必须要解决资源管理问题，而资源监控是资源管理的重要组成部分。在云计算环境下，各种资源都采用了虚拟化技术，资源的特性大多都被隐藏起来，但云计算应用系统还需要根据用户对资源的需求信息，如处理机的速度、内存空间大小、硬盘可用存储空间大小等，帮助用户找到合适的资源。若集群中的某个节点或者在某个节点上运行的虚拟机出现了问题，这就要求系统提供资源的状态信息，及时发现和解决故障，这些都完全依赖于资源监测技术。同时，资源监测得到的数据可以用于资源发现与分配、任务调度和负载均衡。资源监测信息对用户所使用资源的计费也有重大的指导作用。

发明内容

本发明解决的技术问题之一在于提供一种基于大规模云平台的自适应资源监控系统，可实时发现云平台动态资源的加入和退出，使云平台能更好的收集被监控节点的监控信息，并实时的反应云平台资源使用负载情况。

本发明解决的技术问题之二在于提供一种基于大规模云平台的自适应资源监控方法，可实时发现云平台动态资源的加入和退出，使云平台能更好的收集被监控节点的监控信息，并实时的反应云平台资源使用负载情况。

本发明解决上述技术问题之一的技术方案是：

所述的系统包括资源监控模块、资源监控分析模块、数据收集模块和数据存储模块；

所述的资源监控模块，用于根据节点定制的监控模板的资源及其参数进行周期性地采样，并将数据发送给数据收集模块；

所述的资源监控分析模块，用于根据资源监控模块的采样信息进行数据传送方式的决策；

所述的数据收集模块，用于收集各种资源的采样数据，再根据一定的机制采用合适的推送方式发给数据存储模块；

所述的数据存储模块，用于将接收到的数据按照预定的格式进行存储。

所述的监控和分析的内容包括各种资源的实时采样值、判断是否超过预先设定的资源使用阈值。

当采样的资源信息超过了设定的阈值，则由agent端在没接收到server端pull消息时自动push资源监控的信息给server端；反之，agent在接受到pull消息后再实施传送数据的动作。

所述的数据收集模块根据资源分析模块的决策信息来决定数据传送的方式，保证资源的实时采样能很好的反应节点的负载信息。

所述的数据存储模块将请求写入数据库的数据排成两列：update对列和flush对列；所有更新了数据的监控参数按FIFO的方式进入update队列，但都不具有写入磁盘的资格；只有当它更新超过了设定的时长时才能按照FIFO的方式出update队列进入flush队列；在flush队列中也是按照FIFO的方式写入磁盘的。

flush队列写入磁盘的优先级高于update队列的优先级，只有从update队列进入flush队列的数据才能写入磁盘。

数据存储模块在update队列中的参数在等待过程中有更新数据时可以更新到队列中；当系统急需某节点的某监控参数，如果它在队列update中时，可以直接提高它的优先级，出update队列进图flush队列中。

本发明解决上述技术问题之二的技术方案是：所述方法包括：

搭建云环境，构建多集群系统；

获取云环境下网络拓扑图，根据拓扑图实现对每个节点或者虚拟机的状态监控；

定制监控参数配置模板，对每个节点或者虚拟机的资源使用情况进行监控。