[发明专利]基于LOF和验证过滤框架的电能量异常数据监测方法

说明书

本发明公开了一种基于LOF和验证过滤框架的电能量异常数据监测方法，该方法对获取的大规模电能量数据集进行预处理，降低所需的数据量和训练时间；然后使用LOF算法对大规模电能量数据集进行异常检测，得到带有标签的电能量数据集；接着使用基于线性表的验证框架，判断每个带有异常标签的电能量数据的异常类型；最后根据验证框架的判断结果修改电能量异常数据集中样本的异常类型，得到最终的电能量异常数据集。本发明基于LOF和验证过滤框架，可以监测大规模电能量数据发生异常的情况以及异常类型，保证了电能量数据的可靠性，也提高正向有功电量、反向有功电量等指标的可靠性、及时性、有效性。

技术领域

本发明属于电能量运行数据监测技术，具体涉及一种基于LOF和验证过滤框架的电能量异常数据监测方法。

背景技术

在实际应用中由于表计、终端通讯缺陷、轮换表计等因素的影响导致电能量计量系统采集到的电表表码数据会经常出现异常，如表码突变、倒走、缺失等，严重影响系统高级应用功能以及为公司电量统计、线损计算、交易结算等应用提供数据的准确性和可用性。单纯依靠人工方式来完成对电能量异常数据的发现和校核需耗费大量的时间和精力，在电能量数据众多且复杂的情况下，人工效率尤为低下，且准确率难以保证，无法满足当前实际业务需求，因而实现电能量采集数据的异常自动检测与处理显得尤为重要。

现有技术对于电能量异常数据的检测有基于孤立森林算法和随机森林算法技术，但不能对大规模的电能量数据进行异常检测，检测的效率较低，缺少对异常数据的验证和类型判别。

发明内容

发明目的：针对上述现有技术对于大规模电能量数据下的识别和检测精度不高问题，本发明提供一种基于LOF和验证过滤框架的电能量异常数据监测方法。

技术方案：一种基于LOF和验证过滤框架的电能量异常数据监测方法，包括如下步骤：

(1)获取电能量历史电能量数据集，并对电能量数据进行预处理，所述的电能量数据包括正向有功总电量PAP和反向有功总电量RAP；

(2)基于LOF算法构建电能量异常检测模型对电能量数据集进行异常检测，包括分时段对电能量数据进行类聚，得到带有标签的电能量数据集；

(3)基于线性表对每个带有异常标签的电能量数据进行验证，通过计算电能数量数据在时间序列上的正向差值和反向差值来判断异常类型。

进一步的，步骤(1)所述的电能量数据预处理具体如下：

(11)根据时间序列，对相邻两个电能量数据样本的PAP值和RAP值两列作差，得到△_PAP和△_RAP；

(12)提取相同ID的电能量数据记录中的时间列OCCUR TIME和检测异常的数据列△_PAP和△_RAP；

(13)删除空行，并填充缺失数据。

步骤(2)具体包括如下过程：

(22)输入电能量数据集D，设定LOF算法中的邻域K值；

(22)计算电能量数据集D中某个样本数据点p和其第k邻域中所有点的可达距离和局部可达密度；

(23)根据点p和邻域中其他点的局部可达密度进行比较，计算得到局部离群因子；

(24)将点p的局部离群因子和设定的阈值进行比较，判断该电能量数据点是否为异常点。

步骤(3)具体包括如下过程：

(31)对预处理后的数据集建立索引index，采用线性表的数据结构，每个样本数据抽象为元组T(i,△_PAP,△_RAP)表示其中i标记该数据样本在时序上的位置；