[发明专利]系统资源调度方法、装置及存储介质

说明书

本发明实施例涉及数据处理技术领域，公开了一种系统资源调度方法、装置及存储介质，包括：获取待执行任务的当前数据量；确定待执行任务是否存在历史执行记录；若存在历史执行记录，则根据待执行任务的当前数据量及历史执行记录确定系统资源配置参数；根据系统资源配置参数为待执行任务分配系统资源，从而提高了系统资源利用率。

技术领域

本发明实施例涉及数据处理技术领域，特别涉及一种系统资源调度方法、装置及存储介质。

背景技术

随着公司大数据发展的不断深入，在分布式系统(Hadoop Distributed FileSystem，Hadoop)上的项目越来越多，通过调度系统提交的数据仓库工具hive任务也越来越多，但是Hadoop系统资源是有限的。

Hadoop系统资源通过队列(queue)控制，同时会给队列预先分配一定比例的系统资源，当调度系统提交任务时，只是将一类用户、以及该类用户下的所有任务提交给系统，系统资源管理器会将这些任务全部分配到预先设定好的队列里面，这样该类用户下的所有任务会在这个队列里面通过竞争的方式来获取系统资源。

然而，发明人发现现有技术中至少存在如下问题：由于不同时期该类用户下的所有任务的任务数量的不同，可能会导致获取的系统资源不足或浪费，导致系统资源利用率较低。

发明内容

本发明实施方式的目的在于提供一种系统资源调度方法、装置及存储介质，提高了系统资源利用率。

为解决上述技术问题，本发明的实施方式提供了一种系统资源调度方法，包括：获取待执行任务的当前数据量；确定所述待执行任务是否存在历史执行记录；若存在所述历史执行记录，则根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数；根据所述系统资源配置参数为所述待执行任务分配系统资源。

本发明的实施方式还提供了一种系统资源调度装置，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的系统资源调度方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述系统资源调度方法。

本发明实施方式相对于现有技术而言提供了一种系统资源调度方法，通过调度系统，根据每个待执行任务的当前数据量、以及历史执行记录来共同确定该待执行任务的系统资源配置参数，从而为待执行任务分配系统资源，根据每个待执行任务的当前数据量的不同动态地调整分配的系统资源，从而使得待执行任务分配到的系统资源更加符合该待执行任务的系统资源需求量，大大提高了系统资源的利用率。且随着该待执行任务的执行次数越来越多，该待执行任务的历史执行记录也会越来越丰富，根据待执行任务的当前数据量及历史执行记录所确定的系统资源配置参数更加准确，分配给待执行任务的系统资源会更加符合该待执行任务的系统资源需求量，实现了系统资源调度的自动优化。

另外，所述确定所述待执行任务是否存在历史执行记录之后，还包括；若不存在所述历史执行记录，则根据所述待执行任务的当前数据量及预设的第一调节值确定所述系统资源配置参数。

另外，所述根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数之前，还包括：判断所述待执行任务的历史执行记录是否满足预设条件；在所述待执行任务的历史执行记录不满足所述预设条件时，根据所述待执行任务的当前数据量及预设的第一调节值确定系统资源配置参数；所述根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数，包括：在所述待执行任务的历史执行记录满足所述预设条件时，根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数。