[发明专利]异常作业确定方法、装置、设备及存储介质

说明书

本申请实施例公开了一种异常作业确定方法、装置、设备及存储介质。其中，该方法包括：获取预设时间周期内实时流作业的消息处理失败数和消息处理平均时延；根据所述消息处理失败数和所述消息处理平均时延，基于预设的模糊逻辑推理规则，确定异常作业概率；判断所述异常作业概率是否等于或大于预设的异常作业概率阈值，若是，则确定所述实时流作业为异常作业。本申请实施例实现了自动化确定异常作业，提高了异常作业确定准确度和确定效率。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种异常作业确定方法、装置、设备及存储介质。

背景技术

随着大数据技术的发展，企业对数据处理时效性要求越来越高，越来越多的场景采用实时流计算处理的方式来提高数据处理时效性，实时流计算处理规模不断壮大，相应的，对实时流作业运行状态的异常判断显得愈发重要。

现有技术中，确定实时流作业运行状态是否异常通常采用以下处理方式：若实时流作业运行过程中出现消息处理失败的情况，则认为实时流作业是异常的，需要人工干预处理；或者，采集实时流作业运行过程中的消息处理失败数量和消息时延等信息，根据预设的经验参数阈值，确定实时流作业运行状态是否异常。然而，实时流作业运行过程具有突发性、多样性等特性，偶发的网络拥堵情况下，消息处理失败可以不必视作异常作业，因为这些消息后续仍可以重传进行二次处理。

因此，现有技术对异常实时流作业的判断准确度较低，且在判断不准确的情况下对实时流作业进行人为干预导致实时流作业运行过程的效率较低，降低异常实时流作业确定过程的自动化程度。

发明内容

本申请实施例提供一种异常作业确定方法、装置、设备及存储介质，以提高异常作业确定准确度和确定效率。

第一方面，本申请实施例提供了一种异常作业确定方法，该方法包括：

获取预设时间周期内实时流作业的消息处理失败数和消息处理平均时延；

根据所述消息处理失败数和所述消息处理平均时延，基于预设的模糊逻辑推理规则，确定异常作业概率；

判断所述异常作业概率是否等于或大于预设的异常作业概率阈值，若是，则确定所述实时流作业为异常作业。

第二方面，本申请实施例还提供了一种异常作业确定装置，该装置包括：

数据获取模块，用于获取预设时间周期内实时流作业的消息处理失败数和消息处理平均时延；

异常作业概率确定模块，用于根据所述消息处理失败数和所述消息处理平均时延，基于预设的模糊逻辑推理规则，确定异常作业概率；

异常作业确定模块，用于判断所述异常作业概率是否等于或大于预设的异常作业概率阈值，若是，则确定所述实时流作业为异常作业。

第三方面，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如本申请实施例中任一所述的异常作业确定方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如本申请实施例中任一所述的异常作业确定方法。

本申请实施例通过获取预设时间周期内实时流作业的消息处理失败数和消息处理平均时延；根据消息处理失败数和消息处理平均时延，基于预设的模糊逻辑推理规则，确定异常作业概率，提高了异常作业确定的准确度和确定效率；判断异常作业概率是否等于或大于预设的异常作业概率阈值，若是，则确定实时流作业为异常作业。上述方案实现了对异常作业的自动化确定，对于不同类型的实时流作业，都可以基于模糊逻辑推理规则确定异常作业概率，避免了针对不同类型的实时流作业设置不同的经验参数，从而导致异常实时流作业确定过程的自动化程度较低的情况发生，提高了异常作业确定效率和精度。

附图说明