[发明专利]一种异常值检测方法、装置、电子设备及可读存储介质

说明书

本申请提供一种异常值检测方法、装置、电子设备及可读存储介质，方法包括：获取当前时刻的数据集；对所述当前时刻的数据集进行差分操作，获得差分数据集；若确定所述差分数据集满足正态分布，则确定所述差分数据集的第一3δ值和第一均值；若当前时刻的差分数据与所述第一均值差的绝对值大于所述第一3δ值，则确定当前时刻的差分数据为异常数据。在本申请中，对当前时刻的数据集进行差分操作，获得差分数据集，从而基于差分数据集，确定当前时刻的差分数据是否为异常数据，可以实现对于变化较大的数据的识别。

技术领域

本发明涉及数据分析技术领域，具体涉及一种异常值检测方法、装置、电子设备及可读存储介质。

背景技术

目前，常用的异常值检测方法是3δ方法，即若收集的时间序列上的数据集满足正态分布，则计算该数据集的标准差δ和均值μ，将标准差δ乘以3得到的3δ值作为阈值。若当前时刻的数据与均值μ差的绝对值大于阈值，则确定该数据为异常值。

而目前的3δ方法，对于与均值μ差的绝对值小于等于阈值，但是与前一时刻相比具有较大突变的突变值却无法实现有效的识别。而这种突变值，通常也是异常值。比如，对于锅炉供热场景中，在锅炉的蒸汽量在正常值(即均值)附近时，出现故障，导致蒸汽量急速下降，此时，3δ方法可能认为此刻的蒸汽量数据为正常数据，无法实现及时处理或预警。

发明内容

本申请实施例的目的在于提供一种异常值检测方法、装置、电子设备及可读存储介质，以解决现有技术中3δ方法无法识别突变值的问题。

本申请实施例提供了一种异常值检测方法，包括：获取当前时刻的数据集；对所述当前时刻的数据集进行差分操作，获得差分数据集；若确定所述差分数据集满足正态分布，则确定所述差分数据集的第一3δ值和第一均值；若当前时刻的差分数据与所述第一均值差的绝对值大于所述第一3δ值，则确定当前时刻的差分数据为异常数据。

在上述实现过程中，若确定差分数据集满足正态分布，则确定差分数据集的第一3δ值和第一均值，若当前时刻的差分数据与所述第一均值差的绝对值大于所述第一3δ值，则确定当前时刻的差分数据为异常数据。由于本申请采用了差分操作，获取的差分数据是当前时刻相较于某一时刻的变化量的大小，进而若当前时刻的差分数据与第一均值差的绝对值大于第一3δ值，则确定该差分数据为异常数据，可以实现对于变化较大的突变数据的识别。

进一步地，若确定所述数据集满足正态分布，则确定所述数据集的第二3δ值和第二均值；若当前时刻的数据与所述第二均值差的绝对值大于所述第二3δ值，则确定当前时刻的数据为异常值。

在上述实现过程中，若当前时刻的数据与第二均值差的绝对值大于第二3δ值，则确定当前时刻的数据为异常值。这样，可以确定与第二均值偏差较大的数据为异常值。这样，相比于传统的3δ方法，不仅可以实现对于常规的异常值的识别，还是实现对于突变值的识别，从而实现更为全面的异常值检测，有利于后续进行及时处理。

进一步地，在获取当前时刻的数据集之后，在对所述当前时刻的数据集进行差分操作，获得差分数据集之前，还包括：识别所述数据集中存在的数据缺失位；计算所述数据缺失位的前一数据和后一数据的均值；将所述均值填充至所述数据缺失位。

在上述实现过程中，对于数据集中存在数据缺失的情况时，计算数据缺失位的前一数据和后一数据的均值，将该均值填充至数据缺失位，这样获得的处理后的数据集没有缺失数据，有利于后续进行差分操作，也可以更为准确的判断差分数据集和数据集是否满足正态分布。

进一步地，对所述当前时刻的数据集进行差分操作，获得差分数据集，包括：对所述当前时刻的数据集中的各个数据进行差分操作，获得差分后数据；将所述差分后数据取绝对值，获得取绝对值后的差分数据；将所述取绝对值后的差分数据加入所述差分数据集。