[发明专利]一种资源调度方法、装置、电子设备及存储介质

权利要求书

1.一种资源调度方法，其特征在于，包括：

实时监测计算集群中计算作业的资源使用信息；

当根据所述资源使用信息确定所述计算作业存在资源使用异常时，确定所述计算作业对应的执行器的调度策略；

对所述执行器执行所述调度策略对应的调度操作。

2.根据权利要求1所述的方法，其特征在于，所述实时监测计算集群中计算作业的资源使用信息，包括：

实时采集所述计算集群中计算作业的以下至少一项资源使用数据：CPU利用数据、内存利用数据及垃圾回收数据；

将预设时长内的所述资源使用数据汇总为所述计算作业的资源使用信息。

3.根据权利要求2所述的方法，其特征在于，所述确定所述计算作业对应的执行器的调度策略，包括：

确定所述资源使用异常对应的异常类型；

当所述异常类型为内存异常时，确定所述异常类型对应的调度策略为：调整所述计算作业对应的执行器数量和/或调整所述执行器的内存分配量；

当所述异常类型为CPU异常时，确定所述异常类型对应的调度策略为：调整所述计算作业对应的执行器数量和/或调整所述执行器对应的CPU核芯数量。

4.根据权利要求3所述的方法，其特征在于，所述资源使用异常包括内存不足或内存空闲，所述根据所述资源使用信息确定所述计算作业存在资源使用异常，包括：

根据所述内存利用数据确定预设时长内的内存利用率，并根据所述垃圾回收数据确定所述预设时长内的平均垃圾回收时长；

当在所述预设时长内所述内存利用率大于或等于第一内存阈值，且所述平均垃圾回收时长大于或等于第一时长阈值时，确定所述资源使用异常为内存不足；

当在所述内存利用率小于或等于第二内存阈值，且所述平均垃圾回收时长小于或等于第二时长阈值时，确定所述资源使用异常为内存空闲。

5.根据权利要求4所述的方法，其特征在于，当确定所述资源使用异常为内存不足时，所述确定所述计算作业对应的执行器的调度策略，包括：

获取所述执行器对应的内存分配量及所述计算集群中单个计算节点的最大可分配内存量；

当所述内存分配量与所述最大可分配内存量之间的差值满足第一预设条件时，确定所述调度策略为增加所述执行器的内存分配量；

当所述内存分配量与所述最大可分配内存量之间的差值不满足所述第一预设条件时，确定所述调度策略为增加所述计算作业对应的执行器数量。

6.根据权利要求4所述的方法，其特征在于，当确定所述计算作业存在内存空闲时，所述确定所述计算作业对应的执行器的调度策略，包括：

根据所述CPU利用数据确定所述预设时长内的CPU利用率；

当所述CPU利用率大于或等于第一CPU阈值时，确定所述调度策略为降低所述执行器的内存分配量；

当所述CPU利用率小于所述第一CPU阈值时，确定所述调度策略为减少所述计算作业对应的执行器数量。

7.根据权利要求3所述的方法，其特征在于，所述调度策略还包括：调度持续时长；

所述对所述执行器执行所述调度策略对应的调度操作，包括：

在所述调度持续时长内，对所述内存分配量、所述执行器数量和/或所述CPU核芯数量进行调整。

8.根据权利要求4所述的方法，其特征在于，所述根据所述垃圾回收数据确定预设时长内的平均垃圾回收时长，包括：

根据所述垃圾回收数据统计所述预设时长内所述计算作业对应的总垃圾回收时长；

获取所述计算作业对应的执行器数量；

将所述总垃圾回收时长除以所述执行器数量，得到每个所述执行器对应的所述平均垃圾回收时长。