[发明专利]一种工业云环境下基于负载特性的资源调度系统

说明书

本发明公开一种工业云环境下基于负载特性的资源调度系统，包括负载数据监控器、负载特性分析器、资源调度决策器、资源调度执行器和数据库；本发明针对工业云环境负载的复杂性，结合机器学习和传统方法，设计了一种基于负载特性的资源调度系统，并将其应用于工业云平台中。

技术领域

本发明涉及云计算领域，具体是一种工业云环境下基于负载特性的资源调度系统。

背景技术

自从2006年谷歌公司提出“云计算”的概念以来，云计算的模式已经逐步成为互联网时代的基础设施，为硬件资源之上的应用服务提供安全、可靠的计算和数据处理能力。工业云环境存在数据量大、服务类型冗余等特点，在监测和检测过程中，每台工业设备每天都会产生大量数据，对于数据的存储、处理和分析都将耗费大量的计算资源。对于工业云平台上的每一项服务，硬件条件有限的情况下，充分利用计算资源、实现“按需”分配和及时回收、保证服务数量持续增长的过程中云平台稳定运行、以及如何提高服务响应时间和服务质量是需要重点考虑的问题。

目前已经存在的服务资源调度模型中，基于阈值的伸缩机制在工业上应用最广泛。基于阈值的伸缩方式是一种响应式的机制，当系统监测到平台的负载量增大或减少的时候，会根据设定的阈值判断是否需要执行资源的伸缩和调度。得益于其实现方法简单且易于理解，大多数工业云平台中采用了这一模型。但是在负载量急剧变化的时候，模型本身存在响应不及时、容易发生抖动等缺陷，且模型的效率严重依赖阈值的设定，若阈值设定不合理，则无法全面地反应负载的变化。

现有的资源调度模型很难智能地调整分配的资源，难以实现最大化资源利用率的目标。

发明内容

本发明的目的是提供一种工业云环境下基于负载特性的资源调度系统，包括负载数据监控器、负载特性分析器、资源调度决策器、资源调度执行器和数据库。

所述负载数据监控器包括监控服务端和若干监控客户端。

所述监控客户端监测云平台工作节点的负载数据，并发送至监控服务端。

所述监控客户端周期性调用监控客户端对应接口，监测云平台工作节点负载数据。

所述监控服务端将接收到的负载数据存储在主节点持久化数据库的历史负载数据序列中，并将历史负载数据序列发送至负载特性分析器。

所述监控服务端设置在主节点上。

所述主节点在实时数据引擎中存储T时间内历史负载数据，并周期性将实时数据引擎中的历史负载写入持久化数据库的历史负载数据序列中。

所述负载特性分析器对历史负载数据序列进行处理，得到当前时间点的负载预测值，并发送至资源调度决策器。

所述负载特性分析器存储有XGBoost模型、卷积神经网络、支持向量回归模型。

所述负载特性分析器对历史负载数据序列进行处理的步骤包括：

1)获取历史负载数据序列，记为{X₁,X₂,X₃,…X_t-1}。

2)对历史负载数据序列中的连续特征进行数据重构，方法为：设置滑动窗口，以与当前时间点t邻近的窗口内的历史负载数据序列作为用于负载预测的历史负载连续数据序列，记为X-y。X为时间t之前的负载向量集合，y为时间t的负载值集合。

3)判断历史负载数据序列是否具有季节性趋势，若是，则进入步骤4)，否则进入步骤5)。判断历史负载数据序列是否具有季节性趋势的方法为STL时序分解方法。

4)利用XGBoost模型对步骤2)所述历史负载连续数据序列进行隐藏特征提取，得到隐藏离散特征I。