[发明专利]一种基于强化学习的作业调度方法、装置及设备

权利要求书

1.一种基于强化学习的作业调度方法，其特征在于，该方法应用于服务器集群中的管理节点，所述服务器集群还包括用于运行作业的至少一个计算节点，所述方法包括：

将不同作业的作业信息输入到预先训练好的深度神经网络，得到作业调度策略和各作业相关联的计算节点队列；所述作业调度策略用于调度运行所述不同作业，任一作业相关联的计算节点队列中的至少一个计算节点用于运行该作业；

按照所述作业调度策略和各作业相关联的计算节点队列调度运行各作业，并依据各作业的调度运行情况，确定用于评估所述深度神经网络的评估参数；

依据所述评估参数和针对所述各作业已设置的预期参数，更新所述深度神经网络中的模型参数，以使得对作业调度策略进行调整。

2.根据权利要求1所述的方法，其特征在于，所述作业信息包括不同作业属性下的属性数据；

所述将不同作业的作业信息输入到深度神经网络包括：

通过PCA算法，对不同作业属性下的属性数据进行线性降维，得到目标作业数据；

将所述目标作业数据输入到深度神经网络。

3.根据权利要求1所述的方法，其特征在于，所述评估参数为所有作业的平均延迟时间；所述预期参数为目标延迟时间；

依据所述评估参数和针对所述各作业已设置的预期参数，确定所述更新所述深度神经网络中的模型参数之前，所述方法还包括：

根据所述平均延迟时间和所述目标延迟时间，确定所述平均延迟时间和所述目标延迟时间之间的偏差值；

若所述偏差值大于或等于阈值，则更新所述深度神经网络中的模型参数。

4.根据权利要求1所述的方法，其特征在于，所述深度神经网络包括节点权重；

所述将不同作业的作业信息输入到深度神经网络，得到作业调度策略和各作业相关联的计算节点队列，具体包括：

将不同作业的作业信息输入到深度神经网络，以由所述深度神经网络根据节点权重并经过激活函数softmax确定所述作业调度策略和各作业相关联的计算节点队列；

所述更新所述深度神经网络中的模型参数包括：更新深度神经网络中的节点权重。

5.根据权利要求 2所述的方法，其特征在于，所述属性数据包括以下属性中的任一组合：

属于一个作业中的每个任务所需使用的CPU数量、作业运行在各计算节点时所需使用的GPU数量、提交作业时申请内存的大小、各作业需要的计算节点数量、各作业被赋予的优先级、任务数量、任务组数、表征需要优先提交作业的标识。

6.一种基于强化学习的作业调度装置，其特征在于，该装置应用于服务器集群中的管理节点，所述服务器集群还包括用于运行作业的至少一个计算节点，所述装置包括：

策略和队列得到单元，用于将不同作业的作业信息输入到预先训练好的深度神经网络，得到作业调度策略和各作业相关联的计算节点队列；所述作业调度策略用于调度运行所述不同作业，任一作业相关联的计算节点队列中的至少一个计算节点用于运行该作业；

评估参数确定单元，用于按照所述作业调度策略和各作业相关联的计算节点队列调度运行各作业，并依据各作业的调度运行情况，确定用于评估所述深度神经网络的评估参数；

策略更新单元，用于依据所述评估参数和针对所述各作业已设置的预期参数，更新所述深度神经网络中的模型参数，以使得对作业调度策略进行调整。

7.根据权利要求6所述的装置，其特征在于，所述作业信息至少包括不同作业属性下的属性数据；

所述策略和队列得到单元包括用于将不同作业的作业信息输入到深度神经网络的信息输入子单元，所述信息输入子单元，具体用于：

将不同作业属性下的属性数据进行降维处理，得到目标作业数据；

将所述目标作业数据输入到深度神经网络。