[发明专利]一种基于DBSCAN和KNN算法的用电数据离群点检测与清洗方法

说明书

本发明公开了一种基于DBSCAN和KNN算法的用电数据离群点检测与清洗方法，包括：对用电数据的空缺值进行预填充；预填充之后的用电数据分别进行单维数据的离群点检测以及基于改进的DBSCAN聚类算法的多维数据离群点检测，以确定异常离群数值，同时将异常离群数值按置空处理；然后利用数理统计和数据挖掘规则，对上述用电数据进行再清洗；基于改进的KNN近邻填补算法对空缺值填补：对排除离群点修正后的数据，采用主成分分析将特征属性影响并入到KNN的计算过程中，得到最终估算数值；最后再利用均方根误差对清洗后的数据进行评定。本发明实现了对用户用电数据离群点检测和清洗，提升了低压用户用电数据质量，保障后续针对低压用户异常用电行为研究结果的可靠性。

技术领域

本发明涉及数据离群点的检测与处理，重点涉及电力数据的离群点检测与空缺值的填补方法。

背景技术

随着电网公司信息化建设进程的不断推进，台帐的业务数据急剧增加，关系型数据、文本型数据、实时数据等各种类型的数据呈海量增长，大量业务数据产生并积累。由于电力数据采集所涉及的设备种类多、数量大、质量不齐、设备更换，以及人工录入数据造成的错误和遗漏等问题，导致台账数据质量不高，数据质量的好坏影响着后续的数据分析以及基于各种业务场景需求的建模应用。因此，采用自动化、流程化手段，高效、准确地进行数据检测，对提升数据质量是十分必要的。实现台帐数据规范化处理，用自动化的检测代替人工检查方式，可以提高电力企业台账数据质量检测工作的检测速度，并为开展后续数据分析挖掘、模型构建等工作提供良好的数据环境基础。

发明内容

本发明的目的是提供一种基于改进的DBSCAN和KNN算法的低压用户用电数据离群点检测与清洗方法，以借助优化后的数据挖掘算法，更好的实现对数据的离群点的智能检测识别与空缺值填充，通过数据清洗后，提高数据质量。

为了实现上述目的，本发明提供如下技术方案：

一种基于DBSCAN和KNN算法的用电数据离群点检测与清洗包括：

对用电数据的空缺值进行预填充；

对预填充之后的用电数据分别进行单维数据的离群点检测以及基于改进的DBSCAN聚类算法的多维数据离群点检测，以确定异常离群数值，同时将异常离群数值按置空处理；

然后利用数理统计和数据挖掘规则，对上述用电数据进行再清洗；

基于改进的KNN近邻填补算法对空缺值填补：对排除离群点修正后的数据，采用主成分分析将特征属性影响并入到KNN的计算过程中，得到最终估算数值。

在本发明一个优选实施例中，利用均方根误差对用电数据进行多次评定，包括不限于对用电数据异常值检测、剔除、空缺值填补后进行评定，利用均方根误差对其评定，比较处理后的用电数据与真实数据的误差。

在本发明一个优选实施例中，基于统计学方法的单维数据的离群点检测：依据统计学的相关方法，主要采用描述性统计分析方法、箱线图、拉依达法则之一的技术手段，对单维的用电数据进行逐项异常点检测。

在本发明一个优选实施例中，基于改进的DBSCAN聚类算法的多维数据离群点检测：采用核概率密度估计DBSCAN的参数：Eps邻域半径和MinPts密度阈值即簇内最少个数点，将改进后的DBSCAN聚类算法再对用户用电的电流、电压、用电量、功率的多维数据集进行数据离群点检测。

在本发明一个优选实施例中，改进的KNN填补算法过程如下：

Step1：构造数据的相关性系数矩阵。

首先对数据矩阵进行初始化，构建完整的数据矩阵X_m×n，m表示有m条数据记录，n表示数据维数，将排除掉离群点的缺失数据标记。再将数据进行标准化处理，计算数据不同属性维度的协方差，得到一个n维的协方差矩阵；

两随机变量的协方差公式如下：