[发明专利]基于大数据的配电网异常指标的识别与处理方法及装置

说明书

本发明公开了一种基于大数据的配电网异常指标的识别与处理方法，包括：采集配电网专公变运行实时数据并发送至配网智能运维管控系统中，实时数据运行数据存放在分布式数据库HBase中；计算时用SPARK将运行实时数据从HBase数据库中加载至内存中，利用iForest算法识别出运行数据的异常值并将其删除，将剩余数据子集用k‑means算法聚类，聚类后用每个类别相应维度处的平均值填补删掉的异常值。上述方法采用的装置包括：数据采集、加载、剔除、聚类、处理模块。本发明利用分布式数据库HBASE存储专公变运行实时数据，通过大数据的分布式与并行计算框架SPARK对海量数据的高效分析，及时发现配电网运行实时数据的缺陷并做出修正。

技术领域

本发明属于配电网指标分析领域，具体涉及基于大数据的配电网异常指标的识别与处理方法及装置。

背景技术

配网处于整个电网的末梢，是电力企业面向社会的窗口，配网的运行管理直接关系千家万户，社会责任和影响巨大。随着社会的不断发展，对配网的精益化管理提出了越来越高的要求。配电网具有点多、线长、面广的特点，随着用电信息系统的发展，采集装置的日益先进，大部分配网公用配变具备了采集电流、电压、功率的条件，有效的利用公变运行数据对指标进行统计分析，对于及早发现公变运行异常、采集数据质量、传输通道问题具有重要的实际意义。

目前，已提出公变三相不平衡、低电压、重过载等传统指标统计分析，能够较好的反映出配电网公变的运行情况，可以用于及时开展整治工作。然而随着公变运行数据的逐步累积，传统分析方法显得日渐乏力，因此，需要一种能够从数据源头掌控整体情况、更有利于开展整治工作和指定整治措施的分析方法。

发明内容

本发明的目的在于提供基于大数据的配电网异常指标的识别与处理方法及装置，能够有效提高数据质量，从而提高数据分析的效率和准确率，为制定整治措施提供依据，进一步提升配电网运行水平。

为了解决上述技术问题，本发明是通过以下技术方案实现的：基于大数据的配电网异常指标的识别与处理方法，包括以下步骤：

步骤A：采集公变运行数据并发送至用电信息采集系统，并将公变运行数据存放在用电信息采集系统的HBase数据库中；

步骤B：将公变运行数据从HBase库中加载至分布式内存中；

步骤C：利用iForest算法识别出运行数据的异常值并将其删除；

步骤D：将经过步骤C剩余数据子集用k-means算法聚类；

步骤E：将步骤D聚类后用每个类别相应维度处的平均值填补删掉的异常值。

优选的，步骤C中所述iForest算法识别运行数据异常值，具体为：

C1、对运行数据进行无放回随机抽样；

C2、根据样本数据构造iTree树，即随机选择一个维度，在该维度上随机选择一值作为划分点，将该维度里小于划分点的数据放在当前节点的左子叶，大于划分点的数据放在当前节点的右子叶；

C3、按步骤C2所述操作对子叶迭代，直到数据不可再分或树的高度达到阈值；

C4、按步骤C1、C2、C3所述的操作构建更多iTree树，组成iForest森林；

C5、将全部数据遍历所有iTree树，计算每个数据x在iTree上高度h(x)，由n个iTree树的h(x)计算异常指数s(x,n)，将异常指数超出阈值的数据点作为异常值识别出来。

优选的，步骤C5中h(x)为数据点x距离根节点的层数，异常指数s(x,n)由下式求得：

其中E(h(x))表示h(x)的均值，c(n)则由下式得到：