[发明专利]一种云计算环境下的虚拟集群自动伸缩方法

摘要

本发明公开了一种云计算环境下的虚拟集群自动伸缩方法，自动伸缩的集群包括控制中心单元、监控中心单元、集群节点单元以及外部存储单元，方法包括：用户对集群配置进行初始化、创建并启动集群；集群动态增加节点(核心节点、计算节点以及外部存储)；集群动态移除节点(核心节点、计算节点以及外部存储)；监控中心收集集群节点系统性能指标数据，并进行简单分析及量化展示；以及用户手动调度集群。本发明能够灵活、简单且经济地自动调整集群弹性计算资源服务，构建基于集群负载的具备一定伸缩能力的云端服务器集群。另外，本发明的集群伸缩操作方法完全可以配置为自动执行，不需要人为干涉，这就使得集群在作业处理上更加高效、智能。

主权项

一种云计算环境下的虚拟机集群自动伸缩的方法，其特征在于，自动伸缩的集群包括控制中心单元、监控中心单元、集群节点单元以及外部存储单元；所述控制中心单元，用于负责分析监控中心角色汇报的集群负载信息以及任务信息，并借助其内嵌的预测算法模块来制定具体的伸缩策略；所述监控中心单元，用于负责对集群节点的系统性能指标数据进行定期收集、简单分析及量化展示；所述集群节点单元，用于负责作业的任务的调度执行；所述外部存储单元，用于负责存储输入输出数据集以及日志信息；该方法描述了集群初始化启动、动态增加集群节点、动态移除集群节点、收集集群节点系统性能指标数据以及人为调试集群这五个方面的流程，具体包括下述步骤：集群初始化启动：用户在启动虚拟机集群之前，对集群配置进行初始化，一方面，根据业务需求选择并设置不同种类、不同规格的虚拟机数量比例，另一方面，在监控中心单元配置各项系统性能指标的阀值，并设定好虚拟机集群可自动伸缩的范围，然后，依次启动监控中心单元、控制中心单元以及集群节点单元，并且保证各个组件能正常运行，也能互相进行通信；动态增加集群节点：当集群正常调度作业时，集群节点单元中节点的各项性能指标处于正常范围，节点会收集系统各项性能指标信息、任务信息，并定期将这些信息汇报给监控中心单元，监控中心单元会将这些信息进行简单分析及量化展示；所述简单分析及量化展示从三个层面阐述：一、以用户预先设定的系统性能指标阈值数据为负载依据，来对比分析实际收集到的数据，并实时量化节点负载情况；二、以监控中心存储的历史系统性能指标数据为依据，来评估此时系统的负载；三、将信息量化展示，即展示实时收集的系统性能指标数据，简单对比分析的结果，这可以借助于手动开发的Web展示模块或利用开源组件；当监控中心检测到此时集群处于负载过重的状况时，便会将这些信息进一步转发给控制中心单元，控制中心单元会借助伸缩算法模块来制定出具体的伸缩策略，这包括添加核心节点、计算节点或外部存储，新添加的节点必须在监控中心单元进行注册，以便集群主节点能够实时掌握集群节点分布，所有的扩展集群操作都会记录到数据库；所述具体的伸缩算法模块在预测需要启动的节点类型和数量时应该将节点启动时间考虑在内并假设相同节点规格的计算能力相同，更进一步的，应该充分归纳并挖掘出业务模块运行的潜在规律，以预测最佳的伸缩方案，包括但不限于将已有的Q‑Learning算法，一种无模型、无监督的在线强化学习算法，应用到分析预测模块；动态移除集群节点：同动态增加集群节点操作类似，当集群的负载处于正常范围内时，集群中节点会将系统各项性能指标信息、任务信息汇报给监控中心单元，以便监控中心单元能做出简单分析、量化展示的操作，当监控中心单元检测到此时集群存在闲置的节点时，会将这些信息转发给控制中心单元，控制中心单元会借助其伸缩算法模块来制定出具体的伸缩策略，这包括移除核心节点、计算节点或外部存储，其中核心节点与外部存储不能直接被移除，系统默认会转储其所存储的数据，并且被移除的节点在移除之前需在监控中心删除其注册的信息，以便集群主节点能够重新进行集群任务的调度，所有的缩减集群操作都会记录到数据库；收集集群节点系统性能指标数据：为了保证集群能够有条不紊的持续运行，集群中节点一方面会通过心跳与监控中心单元保持联系，另一方面，会将本节点的系统各项性能指标数据、任务信息汇报给监控中心单元，监控中心单元先会通过简单地分析判断此时集群是否处于异常状态，并且会提供实时的分析显示报告，那些处于异常的集群节点负载信息都会作日志，保存到数据库；人为调试集群：除了支持由系统自动进行伸缩操作外，也允许用户根据监控中心提供的实时集群负载情况的可视化分析报告，以作针对性的节点伸缩、资源调整的操作，这些操作的接口由控制中心单元提供，操作的步骤与自动伸缩集群操作基本一致，但人为调试操作可以不受集群初始化配置的伸缩临界点的限制，同样，人为调试集群所作的伸缩操作也会作日志记录。