[发明专利]一种任务调度处理方法及装置

说明书

本发明涉及一种任务调度处理方法及装置，涉及计算机技术领域。该方法包括：接收集群调度系统中资源节点发送的心跳信息，并获取所述心跳信息中携带的任务标识；解析所述任务标识，确定所述资源节点在当前心跳周期内结束的至少一个已分配作业任务；获取所述已分配作业任务的退出标识，确定所述已分配作业任务的任务结束原因；响应于所述退出标识符合预设标准，确定所述资源节点为第一类型资源节点。本实施例能够提高集群调度系统的稳定性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种任务调度处理方法及装置。

背景技术

集群调度系统是一种对集群进行资源管理和调度的基础平台，支持在大规模集群中调度各种任务，例如Hadoop YARN(Hadoop Yet Another Resource Negotiator，一种资源管理器)、K8S(Kubernetes，一种开源的容器编排引擎)、Docker Swarm(一种管理开源的应用容器引擎集群的工具)等。YARN集群调度系统通常包括资源管理器RM(ResourceManager)，节点管理器NM(Node Manager)，应用管理器AM(Application Master)以及资源容器(Container)等。资源容器(Container)是YARN中的资源抽象，封装了一个NM上的多维度资源，如内存、CPU(Central Processing Unit，中央处理单元)、磁盘、网络等。AM为作业的任务向RM申请资源，由RM通知相应的NM启动分配的资源容器来执行相应的作业的任务。

如果为作业的任务分配的资源容器所在的节点发生故障，例如CPU、内存、硬盘等硬件故障，磁盘使用满等硬件软故障，或者缺少必要的依赖软件等软件故障，则会导致调度到该节点上的任务执行失败。为了避免因节点故障导致任务无法正常执行，相关技术中由RM对目标节点执行任务的过程进行监控，一旦某一个节点的任务执行失败，则会将该节点拉入黑名单，停止向该目标节点分配新的作业任务。然而，任务执行失败有可能是任务本身的问题，如果任务一执行失败就将节点拉入黑名单，那么很快所有的节点都会被拉入黑名单，导致整个系统宕机，无法执行新任务，影响任务运行的稳定性。

发明内容

本发明实施例的目的在于提供一种任务调度处理方法及装置，用于提高集群调度系统的稳定性。

第一方面，本发明提供了一种任务调度处理方法，包括：

接收集群调度系统中资源节点发送的心跳信息，并获取所述心跳信息中携带的任务标识；

解析所述任务标识，确定所述资源节点在当前心跳周期内结束的至少一个已分配作业任务；

获取所述已分配作业任务的退出标识，确定所述已分配作业任务的任务结束原因；

响应于所述退出标识符合预设标准，确定所述资源节点为第一类型资源节点。

作为本发明实施例一种可选的实施方式，所述响应于所述退出标识符合预设标准，确定所述资源节点为第一类型资源节点，包括：

确定第一预设时长内获取的指定退出标识的数量；所述指定退出标识包括各种表征所述已分配作业任务的任务结束原因为所述资源节点故障的退出标识；

响应于所述指定退出标识的数量大于或等于阈值数量，确定所述资源节点为第一类型资源节点。

作为本发明实施例一种可选的实施方式，所述方法还包括：

响应于在第二预设时长内未接收到所述资源节点发送的心跳信息，确定所述资源节点确定为所述第一类型资源节点。

作为本发明实施例一种可选的实施方式，所述方法还包括：

在确定所述资源节点为所述第一类型资源节点之后，停止向所述资源节点分配作业任务。

作为本发明实施例一种可选的实施方式，所述方法还包括：