[发明专利]一种作业任务的执行方法、装置、电子设备、存储介质

说明书

本发明公开了一种作业任务的执行方法、装置、电子设备、存储介质，用以解决集群资源利用率低的问题。方法包括：获取待执行的第一作业任务针对每种资源的理论需求量；获取到的针对每种资源的理论需求量为根据在预设时间段内集群执行与第一作业任务的类型相同的其他作业任务时，针对每种资源的实际使用量确定的；判断当前保存的集群针对每种资源的剩余量是否不小于获取的对应种资源的理论需求量；若均为是，将第一作业任务及其针对每种资源的理论需求量发送给集群，使集群采用每种资源的理论需求量执行第一作业任务。因为根据相同类型的其他作业任务对资源的实际使用情况，为该第一作业任务确定资源量，在一定程度上提高了集群资源的利用率。

技术领域

本发明涉及大数据技术领域，特别涉及一种作业任务的执行方法、装置、电子设备、存储介质。

背景技术

随着科技的进步，大数据从科学前沿逐渐深入到各行业。在对大数据进行执行时，一般的，将一个作业流程包括的每个作业任务提交给集群进行执行，集群为该作业流程分配每种资源的资源量，用来执行该作业流程中的每个作业任务，其中资源可以包括CPU，运行内存，并发容器等。

在现有技术中，集群在为该作业流程分配每种资源的资源量时，是管理人员根据经验为该作业流程设置的每种资源的资源量。管理人员针对每个作业流程分配相应的资源量时，为该作业流程中每个作业任务分配的资源量是相同的。而集群在执行每个作业任务时，对每种资源的实际需求量可能是不同的，针对同一资源，有的作业任务需要的资源量较少，有的作业任务需要的资源量较多。

在为作业流程分配相应的资源量时，必须要保证该作业流程中的每个作业任务都可以被正常执行，则针对实际需求量较多的作业任务，为其分配的资源量在其被执行时使用的较多，资源浪费的较少，但针对于实际需求量较少的作业任务，其被执行时使用的较少，资源浪费的较多。

综上，集群在执行作业流程中的作业任务时，对为作业流程分配的资源造成了浪费，导致集群的资源利用率不是很高。在集群性能压力很大时，集群资源紧张时，性能越来越低下，就没有能力执行较大的数据量，甚至导致集群无法正常工作。

发明内容

本发明实施例公开了一种作业任务的执行方法、装置、电子设备、存储介质，用以解决现有技术中集群在执行作业任务时，资源利用率低的问题。

为达到上述目的，本发明实施例公开了一种作业任务的执行方法，所述方法包括：

当识别存在待执行的第一作业任务时，获取所述第一作业任务针对每种资源的理论需求量；其中，获取到的针对每种资源的理论需求量为根据在预设时间段内集群执行与所述第一作业任务的类型相同的其他作业任务时，针对每种资源的实际使用量确定的；

根据每种资源，判断当前获取的集群针对该种资源的剩余量是否不小于获取的该种资源的理论需求量；

如果均为是，将所述第一作业任务及获取的其针对每种资源的理论需求量发送给集群，使集群采用所述每种资源的理论需求量执行所述第一作业任务。

进一步地，如果集群针对至少一种资源的剩余量小于获取的该资源的对应理论需求量，所述方法还包括：

判断所述第一作业任务是否位于任务对列中；

如果否，则将所述第一作业任务添加到任务对列中，并保存所述第一作业任务针对每种资源的理论需求量。

进一步地，获取所述第一作业任务针对每种资源的理论需求量包括：

判断是否保存有所述第一作业任务针对每种资源的理论需求量；

如果是，则将保存的每种资源的理论需求量作为获取到的所述第一作业任务针对每种资源的理论需求量；