[发明专利]一种作业调度的方法和自学习调度器

说明书

本发明提供一种作业调度的方法和自学习调度器，该作业调度的方法，包括：确定作业，并将所述作业切分成各个子作业，确定外设的当前节点和所述当前节点的资源信息；根据所述外设的当前节点的资源信息，判断所述各个子作业中是否包含至少一个能在所述外设的当前节点中运行的目标子作业，如果是，将所述至少一个目标子作业分配给所述外设的当前节点，通过该方法是根据节点的资源信息为节点分配该节点能够运行的作业，实现了为节点合理分配作业的目的。

技术领域

本发明涉及计算机技术领域，特别涉及一种作业调度的方法和自学习调度器。

背景技术

资源调度器是Hadoop YARN中最核心的组件之一，负责整个集群作业的管理和分配。目前，资源调度器进行作业调度的方式：资源调度器平均的将作业分配为各个原子小作业，并保证Hadoop YARN中每一个节点均被分配至少一个原子小作业，但是，当某一个节点不能够运行分配给它的原子小作业时，将导致该节点空闲，而对应的原子小作业也不能被及时处理，例如：某一作业对应的各个原子小作业最少占用内存为2G，而某一节点能够运行的内存仅为1G，那么，如果该节点被分配了该2G的原子小作业，该节点不能够成功的运行，造成作业与节点间不能够被合理分配。

发明内容

本发明提供一种作业调度的方法和自学习调度器，从而为节点合理分配作业。

一种作业调度的方法，确定作业，并将所述作业切分成各个子作业，还包括：

确定当前节点和所述当前节点的资源信息；

根据所述当前节点的资源信息，判断所述各个子作业中是否包含至少一个能在所述当前节点中运行的目标子作业，如果是，将所述至少一个目标子作业分配给所述当前节点。

优选地，上述方法进一步包括：

收集样例作业的特征；

根据所述样例作业的特征，构建分类模型，并确定分类阈值；

所述判断所述各个子作业中是否包含至少一个能在所述当前节点中运行的目标子作业，包括：利用所述分类模型和所述各个子作业对应的特征，计算所述各个子作业对应的分类值，并判断所述计算出的每一个分类值是否小于等于所述分类阈值，确定小于等于所述分类阈值的分类值对应的子作业为目标子作业。

优选地，所述根据所述历史作业的特征，建立分类模型，包括：

根据下述公式，迭代计算所述样例作业的平均CPU利用率、平均网络利用率、平均磁盘I/O利用率和平均磁盘利用率分别对应的权重值；

将所述权重值代入下述公式，确定分类模型；

其中，x₀表征子作业特征的标量值；x₁、x₂、x₃、x₄分别表征子作业的平均CPU利用率、平均网络利用率、平均磁盘I/O利用率和平均磁盘利用率中的一种；θ表征子作业的各个特征对应的权重值；a表征子作业的子分类值；h_θ表征子作业的分类值。

优选地，所述将所述至少一个目标子作业分配给所述当前节点，包括：

确定所述至少一个目标子作业的优先级；

根据所述优先级，依次将所述至少一个目标子作业分配给所述当前节点。

优选地，所述确定当前节点，包括：

接收各个节点定时以心跳包的方式发送的资源信息；

根据所述资源信息，选择一个资源空置的节点作为当前节点。