[发明专利]数据湖的性能诊断方法、装置、计算机设备及存储介质

说明书

本发明公开了一种数据湖的性能诊断方法、装置、计算机设备及存储介质，所述方法包括：从上一预设周期的任务调度信息数据中，获取满足服务等级协议的日期的任务调度信息数据；根据第一起始执行时间和第一终止执行时间，确定在执行日期内每个预设时间段的延迟系数；根据拉依达准则和延迟系数，计算得到第一异常值检测阈值和第二异常值检测阈值；获取当前执行日期的任务调度信息数据；根据第二起始执行时间、第二终止执行时间和当前执行日期，计算得到当前延迟系数；根据当前延迟系数、第一异常值检测阈值和第二异常值检测阈值，将数据湖的当前性能和历史性能进行比较，确定数据湖的当前性能是否满足等级服务协议，提高确定数据湖的性能的效率。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种数据湖的性能诊断方法、装置、计算机设备及存储介质。

背景技术

企业数据湖为企业提供大数据批量计算服务，通过调度系统对批量计算任务进行周期性调度，易出现周期性调度任务延迟的情况，例如，当调度系统将批量计算任务提交到数据湖执行时，提交的批量计算任务超过了调度系统并发，会导致任务执行时间增加，且数据湖基础服务(如Hive、Yarn、GaussDB200)的性能下降，如系统进程内存溢出、频繁FullGC、负载不均衡、数据倾斜、业务表数据膨胀等，也会导致任务执行时间增加；当批量计算任务使用数据湖的CPU、内存、IO等计算资源时，在计算资源出现瓶颈时，如新上线任务资源使用量大，导致在计算资源紧张，计算任务排队延迟执行，导致任务执行时间增加。

目前，主要需要技术人员逐个排查周期性调度任务延迟的原因，效率低下，无法快速确定数据湖的性能。

发明内容

本发明实施例提供一种数据湖的性能诊断方法、装置、计算机设备和存储介质，以提高确定数据湖的性能的效率。

为了解决上述技术问题，本申请实施例提供一种数据湖的性能诊断方法，包括：

从上一预设周期的任务调度信息数据中，获取满足服务等级协议的日期的任务调度信息数据，作为第一基准数据集，其中，所述预设周期为M天，每天由N个连续的预设时间段组成，所述第一基准数据集包括K个第一任务编号、每个所述第一任务编号对应的第一起始执行时间、每个所述第一任务编号对应的第一终止执行时间和每个所述第一任务编号对应的执行日期；

针对每个所述执行日期，根据所述第一起始执行时间和所述第一终止执行时间，确定在每个所述执行日期内每个所述预设时间段的延迟系数；

根据拉依达准则和所述延迟系数，计算得到每个所述预设时间段的第一异常值检测阈值和每个所述预设时间段的第二异常值检测阈值，其中，所述第一异常值检测阈值小于所述第二异常值检测阈值；

获取当前预设周期中当前执行日期的任务调度信息数据，作为第二基准数据集，所述第二基准数据集包括L个第二任务编号、每个第二任务编号对应的第二起始执行时间、每个第二任务编号对应的第二终止执行时间和每个第二任务编号对应的所述当前执行日期；

根据所述第二起始执行时间、所述第二终止执行时间和所述当前执行日期，计算得到在所述当前执行日期的当前预设时间段的当前延迟系数；

根据所述当前延迟系数、所述第一异常值检测阈值和所述第二异常值检测阈值，将所述当前预设时间段内数据湖的当前性能和所述预设时间段内数据湖的历史性能进行比较，确定所述当前预设时间段内数据湖的当前性能是否满足所述等级服务协议。

为了解决上述技术问题，本申请实施例还提供一种数据湖的性能诊断装置，包括：

第一获取模块，用于从上一预设周期的任务调度信息数据中，获取满足服务等级协议的日期的任务调度信息数据，作为第一基准数据集，其中，所述预设周期为M天，每天由N个连续的预设时间段组成，所述第一基准数据集包括K个第一任务编号、每个所述第一任务编号对应的第一起始执行时间、每个所述第一任务编号对应的第一终止执行时间和每个所述第一任务编号对应的执行日期；