[发明专利]面向云数据中心的基于压缩感知的预测性在线调度与混合任务部署方法

说明书

本发明涉及一种面向云数据中心的基于压缩感知的预测性在线调度与混合任务部署方法。包括以下步骤：S1.从云数据中心获取特定时间段内各服务器中在线服务器的资源信息；S2.分析资源信息的数据特征，基于压缩感知的方法对资源信息进行抽样和压缩；S3.调度器获取压缩后的资源信息进行恢复，并将其作为LSTM模型的输入来预测下一时间段在线服务器的资源使用信息；S4.从云数据中心获取下一时间段内将要处理的批处理作业调度需求的资源信息；S5.结合当前在线服务器可用资源信息和批处理作业调度所需的资源信息，构建基于cMAB的在线学习模型，来对批作业进行调度。能大幅提升调度效率和云数据中心的资源利用率。

技术领域

本发明涉及压缩感知，在线学习和云计算领域，更具体地，涉及一种面向云数据中心的基于压缩感知的预测性在线调度与混合任务部署方法。

背景技术

为了云数据中心资源传输带来的网络拥塞问题，现有的一些工作使用随机抽样的方法来缓解资源信息数据传输的压力，但这种方法可能会导致云资源感知不准确。其他方法如使用恢复模型并采用统计估算的方法在随机抽样后重建全部资源信息数据，如专利CN111782627A，公开日为2020.10.16，公开了一种面向广域高性能计算环境的任务与数据协同调度方法；然而，这些模型通常忽略了云资源信息数据中复杂的潜在关系。还有其他的一些方法通过回归方法来利用关联性，但是它们需要手动选择相关属性并假设已知的数据样本分布，这在复杂的真实数据中心几乎是不可能获得的，没有太大的实用性和应用价值。而当前比较流行的深度学习模型通常对云资源信息有很好的恢复效果，但它们需要大量的计算资源，并且需要耗费较长的时间来进行模型的训练和预测。

为了保证令人满意的在线服务性能，需要高效的细粒度调度方法。在之前的研究中，有许多启发式算法如公平调度、首次拟合和装箱策略。这些算法简单直观，但对于在线服务和批处理作业的混合部署可能效率低下。其他算法如减少持续时间和完成时间的和旨在避免浪费调度过程中产生的能源消耗，都是根据不同的目标来优化调度过程。然而，上面提到的方法仅考虑静态资源和用户需求，因此很难满足现实云数据中心中呈现的高资源动态性和任务到达的随机性这两个重要的特性。

发明内容

本发明为克服上述现有技术中的至少一个缺陷，提供一种面向云数据中心的基于压缩感知的预测性在线调度与混合任务部署方法，能大幅提升调度效率和云数据中心的资源利用率。

为解决上述技术问题，本发明采用的技术方案是：一种面向云数据中心的基于压缩感知的预测性在线调度与混合任务部署方法，包括以下步骤：

S1.从云数据中心获取特定时间段内各服务器中在线服务器的资源信息；

S2.分析资源信息的数据特征，基于压缩感知的方法对资源信息进行抽样和压缩；

S3.调度器获取压缩后的资源信息进行恢复，并将其作为LSTM模型的输入来预测下一时间段在线服务器的资源使用信息；

S4.从云数据中心获取下一时间段内将要处理的批处理作业调度需求的资源信息；

S5.结合当前在线服务器可用资源信息和批处理作业调度所需的资源信息，构建基于cMAB的在线学习模型，来对批作业进行调度。

在本发明公开的一种面向云数据中心的基于压缩感知的预测性在线调度与混合任务部署方法，是一种利用在线服务信息主动调度批处理作业的新方法，同时它是一个带宽高效的混合任务部署框架，通过对真实环境中的在线服务资源状态数据进行深入分析，发现了其具有低秩的特征，其中有些资源如CPU利用率还有较强的时间关联性，因此可以使用压缩感知的方法对在线服务的资源信息进行压缩，从而能够缓解云数据中心的网络拥塞，并且减少了系统的开销。