[发明专利]基于非均匀采样的流式异常检测方法、装置、设备及介质

说明书

本发明公开了基于非均匀采样的流式异常检测方法、装置、设备及介质，方法包括：根据历史采样数据库生成与模型生成规则对应的异常检测模型，并通过异常检测模型对实时检测流式数据中的目标检测数据进行检测得到检测结果，根据非均匀采样规则判断目标检测数据是否可用于对异常检测模型中目标决策树进行采样更新，若是则根据目标检测数据的检测结果对目标决策树中的节点进行更新得到更新后的异常检测模型。本发明属于智能决策技术领域，可基于非均匀采样规则对异常检测模型进行动态采样更新，以不断优化异常检测模型中决策树的节点，从而提高异常检测模型对数据偏移的敏感度，可大幅提高对海量流式数据中异常数据进行检测的精确性。

技术领域

本发明涉及智能决策技术领域，尤其涉及一种基于非均匀采样的流式异常检测方法、装置、设备及介质。

背景技术

大型企业中随着实时数据源的大量增加，对应的流式时序数据海量增长，运维人员通常需要以流失的方式获取这些时序数据并判断其是否存在异常。采用人工方式对获取到的海量时序数据进行异常判断需要消耗大量人力，且判断时效性较差，对于海量时序数据无法及时判断得到是否存在异常。现有技术方法中可通过异常检测模型对海量时序数量进行异常检测，但现有技术方法中每一数据在模型中均具有相同权重，导致模型对于数据偏移的敏感度不高，无法实现对异常进行精准检测。因此，现有技术方法中的异常检测方法存在无法精确进行异常检测的问题。

发明内容

本发明实施例提供了一种基于非均匀采样的流式异常检测方法、装置、设备及介质，旨在解决现有技术中异常检测方法所存在的无法精确进行异常检测的问题。

第一方面，本发明实施例提供了一种基于非均匀采样的流式异常检测方法，所述方法包括：

若接收到所输入的模型生成规则，根据预存的历史采样数据库生成与所述模型生成规则对应的异常检测模型；

从所输入的实时检测流式数据中获取与当前时间对应的目标检测数据；

根据所述异常检测模型对所述目标检测数据进行异常检测以获取是否存在异常的检测结果；

从所述异常检测模型中随机获取一颗决策树并确定为目标决策树；

根据预置的非均匀采样规则判断所述目标检测数据是否可用于对所述目标决策树进行采样更新；

若所述目标检测数据可用于对所述目标决策树进行采样更新，根据所述目标检测数据的检测结果对所述目标决策树中的节点进行更新以得到更新后的异常检测模型，并返回执行所述从所输入的实时检测流式数据中获取与当前时间对应的目标检测数据的步骤。

第二方面，本发明实施例提供了一种基于非均匀采样的流式异常检测装置，其包括：

异常检测模型生成单元，用于若接收到所输入的模型生成规则，根据预存的历史采样数据库生成与所述模型生成规则对应的异常检测模型；

目标检测数据获取单元，用于从所输入的实时检测流式数据中获取与当前时间对应的目标检测数据；

检测结果获取单元，用于根据所述异常检测模型对所述目标检测数据进行异常检测以获取是否存在异常的检测结果；

目标决策树确定单元，用于从所述异常检测模型中随机获取一颗决策树并确定为目标决策树；

采样更新判断单元，用于根据预置的非均匀采样规则判断所述目标检测数据是否可用于对所述目标决策树进行采样更新；

模型更新单元，用于若所述目标检测数据可用于对所述目标决策树进行采样更新，根据所述目标检测数据的检测结果对所述目标决策树中的节点进行更新以得到更新后的异常检测模型，并返回执行所述从所输入的实时检测流式数据中获取与当前时间对应的目标检测数据的步骤。