[发明专利]集群的调度模型构建方法、调度模型、调度方法及系统

说明书

本发明公开了集群的调度模型构建方法、调度模型、调度方法及系统，属于大数据处理技术领域，要解决的技术问题为集群缺乏调度决策、且调度依据单一。包括如下步骤：通过实际集资源调度收集最优调整点数的样本数据；对样本数据进行归一化处理，得到预处理后样本数据；基于反向传播的深度神经网络构建预测模型，预测模型以大数据集群规格、集群负载以及期望集群调整负载输入、以最优调节节点数为输出；基于预处理后样本数据对预测模型进行训练，并根据预测模型输出的预测值与样本数据的实际值之间的误差，基于反向传播法对预测模型每层神经元权值进行调整，得到训练后预测模型。

技术领域

本发明涉及大数据处理技术领域，具体地说是集群的调度模型构建方法、调度模型、调度方法及系统。

背景技术

大数据集群弹性伸缩是针对YARN的资源调度，YARN是Hadoop 2.x引入的新的资源管理系统模块，主要用于管理集群当中的资源(主要是服务器的各种硬件资源，比如内存、CPU等)，它不光管理硬件资源，还管理运行的一些任务信息等。计算资源弹性伸缩，是指资源调度器根据当前集群负载与期望集群负载，动态地调整YARN的节点数量，保证集群资源使用率接近于期望集群负载。

现阶段的弹性伸缩策略比较简单，主要存在以下问题：

1、未能考虑集群不同的规格配置，导致资源浪费或者资源不足。不同大数据集群的资源配置不一致，未考虑不同资源配置对调度策略的影响会导致调度策略不准确。例如3个4核、16G内存节点的集群Ⅰ和5个8核、32G内存节点的集群Ⅱ，在同样的负载下使用同样的调度策略，就可能出现集群Ⅰ资源不够，集群Ⅱ资源过度的情况，从而造成大量的资源调整不准确的情况发生；

2、缺乏科学的调度决策系统，一般的弹性伸缩是根据指标阈值作为单一标准，例如：当CPU使用率高于阈值时，扩容固定数量节点；当现在CPU使用率低于阈值时，缩容固定数量节点，种调度缺乏支撑，只能使用历史经验作为决策依据，不能准确的对不同的环境情况进行调度。

集群缺乏调度决策、且调度依据单一，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供集群的调度模型构建方法、调度模型、调度方法及系统，来解决集群缺乏调度决策、且调度依据单一的技术问题。

第一方面，本发明的集群的调度模型构建方法，用于实现大数据集群资源弹性伸缩的调度，包括如下步骤：

通过实际集资源调度收集最优调整点数的样本数据，所述样本数据包括大数据集群规格、集群负载、期望集群调整后负载以及最优调节节点数；

对所述样本数据进行归一化处理，得到预处理后样本数据；

基于反向传播的深度神经网络构建预测模型，所述预测模型以大数据集群规格、集群负载以及期望集群调整负载输入、以最优调节节点数为输出；

基于所述预处理后样本数据对所述预测模型进行训练，并根据所述预测模型输出的预测值与样本数据的实际值之间的误差，基于反向传播法对所述预测模型每层神经元权值进行调整，得到训练后预测模型。

作为优选，所述大数据集群规格包括：

集群节点数据，所述集群节点数据为大数据集群中YARN节点数量；

CPU，每个YARN节点的CPU核数一致，且要进行调整的节点CPU核数一致；

内存，每个YARN节点的内存大小一致，且进行调整的节点内存大小一致；

所述集群负载包括：

平均任务等待比例，每个YARN节点的平均任务等待比例计算公式为：