[发明专利]基于大数据的供水管网异常数据检测方法

说明书

本发明提供一种基于大数据的供水管网异常数据检测方法，所述方法包括如下步骤：S1：获取一段时间范围内的压力监测数据；S2：对监测数据进行预处理操作，包括去除重复数据的数据序列，舍弃数据缺失严重的天数；S3：对预处理后的每个压力传感器的测量值进行正态分布处理，所述正态分布处理包括：正态性检验和正态数据转换；S4：对通过正态分布假设检验后的数据采用三倍标准差准则进行数据异常检测；将超过阈值的数据集合均作为检测出的异常数据输出。本申请通过对供水管网监测大数据中进行预处理、正态分布处理和三倍标准差准则检测后，确定每个传感器的异常数据，检测精度高。

技术领域

本发明涉及异常数据检测技术领域，尤其涉及一种基于大数据的供水管网异常数据检测方法。

背景技术

供水管网系统是城市最重要的基础设施之一，被称为“生命线工程”，各种管网突发事故的发生，都会造成不可估量的后果。目前，大部分供水管网安置在线监测设备采集节点压力，流量数据，通过无线传感网将数据传输到SCADA系统。但在实际运行中，各种管网突发事故的发生，都会造成不可估量的后果。监测设备的异常或供水管网事故的发生都会引起监测数据变化并产生异常值。但城市供水管网数量多，致使监测供水管网运行状态的监测数据更多，即一个城市的供水管网监测数据量可以用海量来形容，依靠人工来检查异常数据投入人力成本打，且效率不高，但目前没有可以直接应用于供水管网的异常数据检测方法。

因此，亟需一种基于供水管网监测大数据的异常数据检测方法。

发明内容

有鉴于此，本发明提供一种基于大数据的供水管网异常数据检测方法，其特征在于：所述方法包括如下步骤：

S1：采集设置于目标供水管网中的压力传感器的监测数据，即从目标供水管网管理中心的数据采集与监视控制系统中获取每个压力传感器的测量值；

S2：预处理步骤S1采集的每个压力传感器的测量值，所述预处理包括：数据规约、缺失值处理和重复值处理；

S3：对预处理后的每个压力传感器的测量值进行正态分布处理，所述正态分布处理包括：正态性检验和正态数据转换；

在所述正态性检验中，若每个压力传感器的测量值符合正态分布，则进入下一步，若不符合正态分布，则将所述不符合正态分布的数据分别开平方根，将所述非正态分布数据转换成符合正态分布的数据，即将所述不符合正态分布的数据X的平方根作为新的分布数据，并进入下一步：

所述不符合正态分布的数据X的平方根作为新的分布数据的具体方法为：

X’＝sqrt(X)

其中，X’表示不符合正态分布的数据X的平方根，X表示不符合正态分布的数据；

S4：确定每个压力传感器的三倍标准差线的上限值μ+3σ和下限值μ-3σ，其中，μ表示每个压力传感器经过正态分布处理后的数据的平均值μ，σ表示每个压力传感器经过正态分布处理后的数据的标准差；

S5：判断每个压力传感器经过所述正态分布处理后的数据是否在对应的三倍标准差线的上限值μ+3σ和下限值μ-3σ之间，若是，则该压力数据正常，若否，则该压力数据异常。

进一步，所述正态分布假设检验包括如下步骤：

S21：确定压力传感器的测量值的累积比例和假定正态时的数据分布累积比例，以压力传感器的测量值的累积比例为横轴，假定正态时的数据分布累积比例为纵轴，作正态概率图；

S22：将压力传感器的测量值的累积比例和假定正态时的数据分布累积比例进行对比，判断正态概率图偏差程度是否小于预设阈值，若是，则符合正态分布，若否，则不符合正态分布。

进一步，所述数据规约包括获取每个压力传感器的采集时间和测量结果值。