[发明专利]一种用于管网建模的时序数据清洗方法

说明书

技术领域

本发明属于数据处理技术领域，具体而言，涉及一种用于管网建模的时序数据清洗方法。

背景技术

管网建模过程中涉及到大量监测数据处理，例如涉及到的以时间序列的数据主要有水厂出水压力和出水流量的监测数据，居民生活用水量、用水模式数据，用于模型校验的管网监测点的压力、流量数据等。但是，这些数据中有些是正确的，而有些则由于机械仪器误差等某些不特定因素，会不可避免的存在某些时间点异常值、数据缺失、数据重复等问题。如果不加以筛选，势必会对模型计算结果产生一定的影响甚至有可能直接导致模型计算不收敛，模型崩溃等现象的发生，因此我们在将这些数据导入到模型计算之前需进行数据的预处理使之达到清洗的效果，为模型的计算提供保证。

例如，在收集到的时序监测数据中，有时候会出现个别的异常数值，从直观上看，这个数据要比其它数据小许多或者大很多。在处理试验数据时，对于这样的个别异常值，是否要剔除，剔除后如何补齐，如果单纯凭直觉判断，缺乏理论上的依据。对于建模监测数据中上述异常值、数据缺失、数据重复问题，目前还没有一套完整的标准化处理流程。通常在建模时对于异常值仅为人工判断合理区间，对于缺失值和异常值的处理是忽略缺失值使用简单的线性差值来补充异常值。

发明内容

本发明的目的在于提供一种用于管网建模的时序数据清洗方法，该方法针对管网建模中的时序数据，能够采取较为合理科学的数据预处理方式为模型计算的精度提供保证。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种用于管网建模的时序数据清洗方法，包括以下步骤：

步骤1）重复值筛出；

利用结构化查询语言（SQL）选取所需时间段的数据，同一监测点位的数据作为一组，进行重复值查找，并删除相同时间点的重复值；

步骤2）离散程度分析；

批量分别计算不同组数据最大值X_max、最小值X_min、平均值μ、标准差σ和变异系数CV，其中CV=σ/μ，通过标准差σ和变异系数CV来分析数据的离散程度，通过变异系数CV的处理可将不同量纲的流量和压力数据同一批次处理；并对变异系数CV设定阈值，当变异系数大于所设定的阈值时，则判定该监测点位的数据为无效数据，并进行删除，不参与模型计算；

步骤3）异常值判定；

通过三倍标准差法确定上下限值，即正常值X为，确定上限值为，确定下限值为，对于不符合此范围的值均为异常值进行剔除；

步骤4）平滑曲线去噪点；

对于已去除异常值的各组监测点（离散点）数据采用最小二乘法拟合平滑曲线，首先确定一个函数逼近原函数；设近似函数为，函数值与观测值之差称为残差，可以用残差来衡量近似函数的好坏，具体方法为：

根据已知数据点，先利用MATLAB解方程组，得到待定系数和拟合函数；再利用拟合函数值代替曲线噪点值，达到曲线平滑的效果；进一步的，可将替换噪点值后拟合函数值再次进行拟合，重复上述步骤直至残差满足精度要求；

步骤5）对缺失值进行插值处理；

采用三次样条函数对缺失值进行插值，通过上述步骤描述处理监测的时序数据重复值、缺失值、异常值以及离散度较大的序列数据；

在实际建模过程中进行数据处理时，先通过最小二乘法拟合出最逼近观测值的函数，总体把握数据的趋势走向，同时甄别步骤3）中未能通过三倍标准差发去除的异常值并剔除，减小误差的存在；

在实际导入模型数据时，再利用局部分段的数据，采用三次样条曲线插值法将缺失值及异常值剔除的部分进行补齐，以防止拟合曲线数据的失真，同时保留了原合理的观测值。

进一步的，步骤1）中，所述的时间段数据包括水厂出水压力和出水流量的监测数据，居民生活用水量、用水模式数据，以及用于模型校验的不同管网监测点位的压力、流量时序数据。

进一步的，步骤2）中，所述变异系数的阈值可设定为1，即标准差σ小于平均值μ，实践中当变异系数＜1时，所监测的压力和流量时序列数据离散程度较好。

进一步的，在步骤4）中，所述的函数的曲线在曲线图上不要求过所有的数据点（可以消除误差影响），但需要尽可能表现出数据的趋势，靠近这些数据点即可。

本发明的有益效果是：