[发明专利]一种分布式任务调度方法、装置、终端设备及存储介质

说明书

本发明涉及一种分布式任务调度方法、装置、终端设备及存储介质，分布式任务调度装置包括任务分类模块和节点管理模块，其中，任务分类模块用于负责任务分片的管理及分类功能，节点规划模块用于负责节点的管理及任务分配功能。本发明能够实现对分布式任务的自动化科学调度，大大降低了系统管理人员的工作负担。

技术领域

本发明涉及分布式系统领域，具体地涉及一种分布式任务调度方法、装置、终端设备及存储介质。

背景技术

资源利用率关系到分布式系统性能的优劣，为作业选取合适的节点有利于提高分布式系统的资源利用率。目前，主流的调度器，例如公平调度器，计算能力调度器等，在资源规划方面，主要是根据分布式系统中节点的资源量，包括CPU资源和内存资源，进行分配，但是并未对客户端提交的作业进行规划。在节点负载处理上，默认的任务分配和副本放置策略主要针对同构环境，未考虑节点间的异构问题，因此在异构的环境下，由于节点性能的差异，会导致分布式系统负载不均衡。

近几年，随着计算机硬件的发展，机器学习领域再次呈现出一片繁荣的景象。机器学习的落地实施是业界追求的目标。分布式系统中天然存在大量数据集，这为机器学习创造了一个绝佳的训练和落地环境。分布式系统与机器学习的结合顺应了科学技术的发展趋势，也使机器学习有更实质性的落地实施。Apache Spark，Apache Flink等知名开源软件就是最好的例子，他们拥有健全的分布式机器学习库，同时仍在不断发展壮大。

在分布式系统中，有大量配置参数需要系统管理人员设置，并且要求系统管理人员拥有较专业的技术水平。

发明内容

本发明旨在提供一种分布式任务调度方法、装置、终端设备及存储介质，以解决上述问题。为此，本发明采用的具体技术方案如下：

根据本发明的一方面，提供了一种分布式任务调度方法，其包括以下步骤：

S1.在分布式系统的所有集群节点中，根据选举算法，会有一个节点晋升为主节点，该主节点负责管理集群节点的元信息，包括节点规划模块和任务分配模块；

S2.在分布式系统启动阶段，节点规划模块根据节点资源情况将集群的节点规划成充足资源类、正常资源类和紧张资源类三大类，同时根据节点的负载情况，进一步将节点分成高负载节点，正常负载节点，以及空闲节点三类；

S3.在分布式系统运行过程中，节点规划模块会定期根据节点的资源状况对节点进行重新划分资源类别，以及根据节点的负载情况判断节点的负载类型；

S4.当分布式集群遇到故障时，节点规划模块会重新执行步骤S3；

S5.在作业执行过程中，作业会被分成很多任务片，任务分类模块根据任务的各项需求指标，运用机器学习算法对任务进行分类，最终发送任务至指定资源类型中的指定节点上；

S6.当某个任务执行失败时，任务分类模块会重新评估任务的各项指标，并为其分配适合的队列；

S7.当集群的某个节点处于空闲状态时，该节点可利用心跳通知主节点为其分配合适的任务。

进一步地，步骤S1还包括：配置一个节点作为主节点的备份节点，负责主节点的容错工作。

进一步地，步骤S2还包括配置充足资源类、正常资源类和紧张资源类三类节点的数量占比。优选地，充足资源类、正常资源类和紧张资源类三类节点的数量占比为30％，40％和30％。

进一步地，S2-S4中根据节点资源情况将集群的节点规划成充足资源类、正常资源类和紧张资源类三大类的计算公式如下：

score＝CPU*30％+Memory*30％+Time*40％，