[发明专利]Flink任务处理的资源调整方法、装置、设备和存储介质

说明书

本申请涉及一种Flink任务处理的资源调整方法、装置、设备和存储介质。所述方法包括：获取当前Flink任务的执行过程中各资源使用指标的实际使用量；根据各实际使用量以及各所述资源使用指标的指标参数，生成所述当前Flink任务的资源使用总评分；根据所述资源使用总评分以及资源使用总评分与调整策略的映射关系，得到所述当前Flink任务的调整策略；根据所述调整策略对所述当前Flink任务的资源分配进行调整。本申请通过设定多个资源使用指标，从多个维度对当前Flink任务的资源使用进行评分，并基于资源使用总评分与调整策略的映射关系精准定位到与当前Flink任务匹配的调整策略，使得调整策略的获取更加精准，基于该调整策略对资源进行调整，使得资源的调整更加准确。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种Flink任务处理的资源调整方法、装置、设备和存储介质。

背景技术

目前，底层Flink框架的每个TaskManager(任务管理器)默认设置为1C、2G，用户可通过高级参数对TaskManager的Slot(任务槽)数和内存进行调整。例如，当前用户设置并发，主要通过设置多个TaskManagers方式或通过高级参数设置多个slot的方式。存在的问题主要是用户在配置并发的时候，对资源配置经验不足，经常出现本身需要很少的并发就能解决问题，结果配置过大并发，CPU和内存利用率较低，导致资源浪费。因此，如何对资源进行合理调整成为有待解决的问题。

传统的技术方案中，在Flink框架进行任务处理时，一般通过QPS(吞吐量)的最高值以及平均值对资源的利用进行评估，根据评估结果对资源进行调整，这种容易导致评估不准确，调整不合理的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种Flink任务处理的资源调整方法、装置、设备和存储介质。

一种Flink任务处理的资源调整方法，方法包括：

获取当前Flink任务的执行过程中各预设的资源使用指标的实际使用量；

根据各资源使用指标的实际使用量以及预先配置的各资源使用指标的指标参数，生成当前Flink任务的资源使用总评分；

根据当前Flink任务的资源使用总评分以及预先配置的资源使用总评分与调整策略的映射关系，得到当前Flink任务的调整策略；

根据当前Flink任务的调整策略对当前Flink任务的资源分配进行调整。

在其中一个实施例中，上述的指标参数包括最大值以及指标最高分，上述的根据各资源使用指标的实际使用量以及预先配置的各资源使用指标的指标参数，生成当前Flink任务的资源使用总评分，包括：

当资源使用指标所属的评估因子为第一因子时，根据各第一因子的资源使用指标的实际使用量以及最大值，生成各第一因子的资源使用指标的使用占比；

根据各第一因子的资源使用指标的使用占比以及指标最高分，生成第一评分；

当资源使用指标所属的评估因子为第二因子时，资源使用指标包括第一指标以及第二指标，根据第一指标的实际使用量以及第二指标的实际使用量生成消费占比；

根据消费占比以及第二因子的资源使用指标的指标最高分，生成第二评分；

根据第二评分以及各第一评分，生成当前Flink任务的资源使用总评分。

在其中一个实施例中，上述的根据当前Flink任务的资源使用总评分以及预先配置的资源使用总评分与调整策略的映射关系，得到当前Flink任务的调整策略，包括：

根据资源使用总评分与调整策略的映射关系中资源使用总评分的所属区间与调整策略的映射关系，获取与当前Flink任务的资源使用总评分的所属区间匹配的调整策略，得到当前Flink任务的调整策略。