[发明专利]一种任务调度方法、装置及电子设备

说明书

本申请公开了一种任务调度方法、装置及电子设备。该方法包括：获取任务；预测所述任务的成功率；响应于所述任务的成功率低于预设的成功率阈值，将所述任务发送至预设的第一节点，将所述任务对应的备份任务发送至第二节点，所述第二节点与所述第一节点不同。由此，本申请无须在任务执行较长的时长后才对任务是否失败的判定结果进行获取，通过预测分布式任务中每个子任务的成功率，极大地缩短了任务调度耗时，提高了任务调度过程中的效率和可靠性。进一步地，通过在创建任务时就创建相应的备份任务，提升了任务调动的成功率和性能，以及系统的健壮性。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种任务调度方法、装置及电子设备。

背景技术

分布式任务调度系统以其资源共享性强、计算速度快、可靠性高、应用方便快捷等众多优点广受青睐，能够实现不同节点之间的远距离通信和数据传输，并能够统筹协调系统资源，对用户提交的作业任务进行分布式处理，为人与人之间的信息交流及各种计算作业任务的完成提供了很大便利。

目前，主流的分布式任务调度算法(如Hadoop MapReduceV2、Spark等开源集群计算系统)，通常采用以下任务调度方法：于任一时刻获取预测任务完成时间与此刻为该任务启动一个备份任务的完成时间差值，并获取时间差值最大的任务，以在其它节点为该任务启动备份任务。

然而，由于数据的不确定性以及对于系统运行环境的要求，现有技术中的任务调度过程中往往存在耗时久、维度单一、可靠性低、健壮性差等问题。因此，如何缩短任务调度耗时、提高任务调度过程中的效率和可靠性、提升任务调度性能，已成为了重要的研究方向之一。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种任务调度方法，用于解决现有任务调度方法过程中存在的耗时久、维度单一、可靠性低、健壮性差的技术问题。

本发明的第二个目的在于提出一种任务调度装置。

本发明的第三个目的在于提出一种电子设备。

本发明的第四个目的在于提出一种计算机可读存储介质。

为了实现上述目的，本申请第一方面实施例提供了一种任务调度方法，所述方法包括以下步骤：获取任务；预测所述任务的成功率；响应于所述任务的成功率低于预设的成功率阈值，将所述任务发送至预设的第一节点，将所述任务对应的备份任务发送至第二节点，所述第二节点与所述第一节点不同。

另外，根据本申请上述实施例的任务调度方法还可以具有如下附加的技术特征：

根据本申请的一个实施例，还包括：响应于所述任务的成功率等于或者高于所述成功率阈值，将所述任务发送至所述第一节点。

根据本申请的一个实施例，还包括：将所述第一节点和第二节点中最先完成任务的节点的任务执行结果，确定为目标任务执行结果；将所述第一节点和第二节点中，除所述最先完成任务的节点之外的其他节点的任务执行结果删除。

根据本申请的一个实施例，所述将所述任务对应的备份任务发送至第二节点之前，还包括：计算所述成功率阈值和所述任务的成功率的比值；根据所述比值确定所述备份任务的数量。

根据本申请的一个实施例，所述根据所述比值确定所述备份任务的数量，包括：响应于所述比值小于或者等于预设的数量阈值，将所述比值确定为所述备份任务的数量；或者，响应于所述比值大于所述数量阈值，将所述数量阈值确定为所述备份任务的数量。

根据本申请的一个实施例，所述预测所述任务的成功率，包括：获取所述任务对应的数据特征和服务器资源特征；对所述数据特征和所述服务器资源特征进行特征加工处理；将特征加工处理后的所述数据特征和所述服务器资源特征输入至训练好的联邦学习模型中，得到所述任务的成功率。