[发明专利]异常数据的检测方法、装置、设备、介质和程序产品

说明书

本公开提供了一种异常数据的检测方法、装置、设备、介质和程序产品，涉及大数据技术领域，异常数据的检测方法包括以下步骤：获取实时数据；获取多个密度数据层以及对应多个所述密度数据层的多个检测模型；根据所述密度数据层的上下边界值，将所述实时数据带入对应的所述密度数据层内；根据所述实时数据是否与对应的所述检测模型相匹配，判断所述实时数据是否为异常数据。

技术领域

本公开涉及大数据技术领域，特别涉及一种异常数据的检测方法、装置、设备、介质和程序产品。

背景技术

当前工业生产中一般由业务人员设置固定阈值进行异常数据的检测，此方法在业务稳定时能取得较好的效果，但是在业务发展较快，业务量快速增长时，固定阈值失效的情形会愈加明显。

现有技术中，存在利用全量数据训练得到时间序列预测模型，此类模型在实际生产中消耗大量计算资源，且不能满足实时计算的要求，无法满足异常数据的实时检测。

发明内容

鉴于上述问题，本公开提供了一种异常数据的检测方法、装置、设备、介质和程序产品，旨在解决难以实现异常数据检测的问题。

根据本公开的第一个方面，提供了一种异常数据的检测方法，包括以下步骤：

获取实时数据；

获取多个密度数据层以及对应多个密度数据层的多个检测模型；

根据密度数据层的上下边界值，将实时数据带入对应的密度数据层内；

根据实时数据是否与对应的检测模型相匹配，判断实时数据是否为异常数据。

根据本公开的实施例，获取多个密度数据层以及对应多个密度数据层的多个检测模型的步骤包括：

获取预设时段内的历史数据；

采用密度分层法对历史数据进行密度分层，得到多个密度数据层以及对应的上下边界值；

对每一密度数据层进行分布检测，判断是否属于常见分布；

根据密度数据层是否属于常见分布，分别采用对应的常见分布模型以及通用分布模型对每一密度数据层进行训练，以得到多个检测模型。

根据本公开的实施例，采用密度分层法对历史数据进行密度分层，得到多个密度数据层以及对应的上下边界值的步骤包括：

获取历史数据的所有非重复数据，并将非重复数值进行顺序排列；

在相邻的非重复数值之间的差值大于第一预设值处进行数据分层，得到多个密度数据层以及对应的上下边界值。

根据本公开的实施例，在相邻的非重复数值之间的差值大于第一预设值处进行数据分层，得到多个密度数据层的步骤还包括：

在相邻的非重复数值之间的差值大于第一预设值处进行数据分层，得到多个初始分层数据；

获取每一初始分层数据占历史数据的比例；

将比例小于第二预设值的初始分层数据合并至相邻且数据量相对少的初始数据层内，得到多个密度数据层以及对应的上下边界值。

根据本公开的实施例，对每一密度数据层进行分布检测，判断是否属于常见分布的步骤包括：

通过K-S检测对每一密度数据层进行分布检测，判断是否属于常见分布。

根据本公开的实施例，常见分布包括正态分布、伽马分布、值数分布以及柯西分布中的至少一种。

根据本公开的实施例，通用分布模型包括长短期记忆网络模型。

根据本公开的实施例，检测模型包括包括长短期记忆网络模型；