[发明专利]一种资源调度方法、装置、电子设备及存储介质

说明书

本申请涉及一种资源调度方法、装置、电子设备及存储介质，该方法包括：实时监测计算集群中计算作业的资源使用信息；当根据所述资源使用信息确定所述计算作业存在资源使用异常时，确定所述计算作业对应的执行器的调度策略；对所述执行器执行所述调度策略对应的调度操作。该技术方案在计算作业执行过程中动态地对每个执行器的内存和/或CPU使用进行调整，为计算作业分配正常执行所需的资源，保证其性能和执行速度，又减少资源空闲，避免资源浪费，提高整个计算集群的资源使用率。

技术领域

本申请涉及大数据处理技术领域，尤其涉及一种资源调度方法、装置、电子设备及存储介质。

背景技术

Spark是专为大规模数据处理而设计的快速通用的计算集群，采用分布式计算框架，在海量数据的处理与计算、机器学习和数据挖掘方面具有重要意义。

在Spark中执行计算作业时，资源分配是非常重要的一方面。目前，无论是静态资源分配还是动态资源分配，都是在任务执行之初就已根据设定值或根据计算数据量、任务完成时间、总资源量、任务数量等指标为每个计算作业分配好资源。在计算作业执行完毕之前，其对应的资源不会发生变化。

但是，由于资源配置固定不变，无法根据计算作业的变化而自动调整，从而出现计算作业可能由于得不到足够的资源而计算缓慢，或者计算作业还存在资源空闲，造成资源浪费。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请实施例提供了一种资源调度方法、装置、电子设备及存储介质。

根据本申请实施例的一个方面，提供了一种资源调度方法，包括：

实时监测计算集群中计算作业的资源使用信息；

当根据所述资源使用信息确定所述计算作业存在资源使用异常时，确定所述计算作业对应的执行器的调度策略；

对所述执行器执行所述调度策略对应的调度操作。

可选的，所述实时监测计算集群中计算作业的资源使用信息，包括：

实时采集所述计算集群中计算作业的以下至少一项资源使用数据：CPU利用数据、内存利用数据及垃圾回收数据；

将预设时长内的所述资源使用数据汇总为所述计算作业的资源使用信息。

可选的，所述确定所述计算作业对应的执行器的调度策略，包括：

确定所述资源使用异常对应的异常类型；

当所述异常类型为内存异常时，确定所述异常类型对应的调度策略为：调整所述计算作业对应的执行器数量和/或调整所述执行器的内存分配量；

当所述异常类型为CPU异常时，确定所述异常类型对应的调度策略为：调整所述计算作业对应的执行器数量和/或调整所述执行器对应的CPU核芯数量。

可选的，所述资源使用异常包括内存不足或内存空闲，所述根据所述资源使用信息确定所述计算作业存在资源使用异常，包括：

根据所述内存利用数据确定预设时长内的内存利用率，并根据所述垃圾回收数据确定所述预设时长内的平均垃圾回收时长；

当在所述预设时长内所述内存利用率大于或等于第一内存阈值，且所述平均垃圾回收时长大于或等于第一时长阈值时，确定所述资源使用异常为内存不足；

当在所述内存利用率小于或等于第二内存阈值，且所述平均垃圾回收时长小于或等于第二时长阈值时，确定所述资源使用异常为内存空闲。

可选的，当确定所述资源使用异常为内存不足时，所述确定所述计算作业对应的执行器的调度策略，包括：

获取所述执行器对应的内存分配量及所述计算集群中单个计算节点的最大可分配内存量；