[发明专利]数据采集任务异常预警方法、装置、计算机设备和介质

说明书

本申请涉及一种数据采集任务异常预警方法、装置、计算机设备和介质。所述方法包括：获取若干数据采集量，对数据采集量进行平滑处理，得到平滑数据采集量；将平滑数据采集量、预设的显著性水平作为广义ESD检验的输入参数，计算得到第一极大值和第一极小值；通过平滑数据采集量的第一四分位数值、第三四分位数值、预先测试的阈值计算得到第二极大值和第二极小值；比较第一极大值和第二极大值，得到极大预警阈值，比较第一极小值和第二极小值进行，得到极小预警阈值；利用极小预警阈值、极大预警阈值和平滑数据采集量对平滑数据采集量对应的数据采集任务进行异常预警。采用本方法能够动态地进行设置上万甚至更多的数据采集任务的阈值。

技术领域

本公开涉及数据处理技术领域，特别是涉及一种数据采集任务异常预警方法、装置、计算机设备和介质。

背景技术

21世纪已成为大数据时代，随着互联网技术的发展，数据已然成为众多领域最重要的一环。数据分析，个性化推荐等任务离不开海量的数据支持，进而出现了数据采集技术，然而随着各种数据业务的展开，同一平台可能存在着成千上万个数据采集任务。由于各个数据采集任务的周期，所处状态（全量、增量）和采集细节等都不同，人工难以对每个数据采集任务实现密切的监控和关注。所以构建数据采集任务的通用异常检测系统十分重要。

目前的数据采集异常检测方式通常是迁移到时间序列的异常检测。这一领域虽然有长足的发展，但是大多应用于单一的场景/任务，依赖人工针对任务场景手动调节参数或确定阈值，会导致报警不准确，误报率偏高，并且不适于较大数量（如上万个）数据采集任务的异常检测场景。

发明内容

基于此，有必要针对上述技术问题，提供一种能够适用于大量数据采集任务，低误报率的数据采集任务异常预警方法、装置、计算机设备和介质。

一种数据采集任务异常预警方法，方法包括以下步骤：

获取若干数据采集任务的数据采集量，对数据采集量进行平滑处理，得到平滑数据采集量，其中，平滑处理包括对数据采集量采用预设数值为底的对数进行处理；

将平滑数据采集量、预设的显著性水平作为广义ESD检验的输入参数，计算得到第一极大值和第一极小值，预设的显著性水平包括预先设置的所述广义ESD检验的参数；

通过平滑数据采集量的第一四分位数值、第三四分位数值以及预先测试的阈值进行计算，得到第二极大值和第二极小值，其中第一四分位数值和第三四分位数值是将平滑数据采集量通过四分位方法进行处理，得到的；

将第一极大值和第二极大值进行第一比较，根据第一比较结果得到极大预警阈值，将第一极小值和第二极小值进行第二比较，根据第二比较结果得到极小预警阈值；

利用极小预警阈值、极大预警阈值和平滑数据采集量对与平滑数据采集量对应的数据采集任务进行异常预警。

在其中一个实施例中，将所述平滑数据采集量、预设的显著性水平作为广义ESD检验的输入参数，计算得到第一极大值和第一极小值，包括：

通过广义ESD检验和显著性水平检测平滑数据采集量中是否存在异常值，若存在异常值，则从平滑数据采集量中删除异常值，得到第一平滑数据采集量；

计算第一平滑数据采集量的均值和第一平滑数据采集量的标准差；

获取第一平滑数据采集量中最大值、最小值、数据的数量；

通过均值、标准差、最大值、显著性水平、数据的数量进行计算，得到第一极大值；

通过均值、标准差、最小值、显著性水平、数据的数量进行计算，得到第一极小值。

在其中一个实施例中，将所述平滑数据采集量、预设的显著性水平作为广义ESD检验的输入参数，计算得到第一极大值和第一极小值，还包括：