[发明专利]一种计算集群节点调度方法、装置、设备、产品

权利要求书

1.一种计算集群节点调度方法，其特征在于，包括如下步骤：

用户创建作业并将创建的作业提交；

获取当前计算集群下各个节点对应特征的实时数据，并将获取的实时数据进行处理选择最优节点；

接收提交的作业，并将接收到的作业分发给选择的最优节点执行；

监控作业的运行参数，并根据作业的运行参数判断该最优节点选择是否准确，并将节点性能预测准确的节点参数放入特征数据库的训练样本集。

2.根据权利要求1所述的计算集群节点调度方法，其特征在于，用户创建作业并将创建的作业提交的步骤之前，包括：

构建节点的特征数据库。

3.根据权利要求2所述的计算集群节点调度方法，其特征在于，构建节点的特征数据库的步骤包括：

提取不同的维度的特征,并确定该特征对结果的影响方向、权重；其中影响方向包括正向影响和负向影响；

根据提取的特征准备训练样本集；

对训练样本集的数据进行归一化处理。

4.根据权利要求2所述的计算集群节点调度方法，其特征在于，获取当前计算集群下各个节点对应特征的实时数据，并将获取的实时数据进行处理选择最优节点的步骤包括：

获取当前计算集群下各个节点对应特征的实时数据；

对实时数据进行归一化处理；

根据特征数据库的训练样本集计算出该节点特征值到各个训练样本数据的方差，按照方差值进行排序，根据排序后的结果，取出前k条记录，找出k条记录中的性能优先级出现概率最高的一个值作为该节点的优先级；

输出选择的最优节点。

5.根据权利要求4所述的计算集群节点调度方法，其特征在于，监控作业的运行参数，并根据作业的运行参数判断该最优节点选择是否准确，并将节点性能预测准确的节点参数放入特征数据库的训练样本集的步骤包括：

监控作业的运行参数；

根据作业的运行参数判断，若作业的执行时长小于作业的预估时长，且作业的挂起时长小于设定的时间阈值，则认为该节点性能预测准确；

将节点性能预测准确的节点参数放入特征数据库的训练样本集。

6.根据权利要求5所述的计算集群节点调度方法，其特征在于，运行参数包括作业的执行时长、作业的挂起时长。

7.一种计算集群节点调度装置，其特征在于，包括作业创建模块、节点选择模块、集群调度模块和作业监控模块；

作业创建模块，用于用户通过作业创建模块创建作业并将创建的作业提交到集群调度模块；

节点选择模块，用于获取当前计算集群下各个节点对应特征的实时数据，并将获取的实时数据进行处理选择最优节点；

集群调度模块，接收提交的作业，并将接收到的作业分发给选择的最优节点执行；

作业监控模块，用于监控作业的运行参数，并根据作业的运行参数判断该最优节点选择是否准确；并将节点性能预测准确的节点参数放入特征数据库的训练样本集。

8.根据权利要求7所述的计算集群节点调度装置，其特征在于，该装置还包括特征数据库构建模块，特征数据库构建模块，用于构建节点的特征数据库。

9.一种电子设备，其特征在于，包括存储器和处理器，存储器和处理器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的计算集群节点调度方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1至6任一项所述的计算集群节点调度方法。