[发明专利]一种城市洪涝积水监测数据清洗方法

说明书

本发明公开了一种城市洪涝积水监测数据清洗方法，S1、采用插补算法对城市洪涝积水监测数据的缺测值进行数据插补；S2、基于差值判别算法筛选异常数据点；S3、根据筛选出的异常数据点判定数据首次峰值或首次谷值的变化为异常波动；S4、计算首次峰值或首次谷值变化后续数据在执行总时间内的波动变化的频率，当变化的频率大于积水连续波动最小频率的经验值时，则判定执行总时间内的数据波动具有连续性；S5、采用滑动平均算法对S2、S3和S4中的异常数据进行修正。本发明方法基于二次诊断的清洗方法框架，最大限度筛出异常数据并避免错误筛查，以实现对城市积水监测数据的有效清洗。

技术领域

本发明属于城市洪涝积水监测数据的清洗和质量控制的技术领域，具体涉及一种城市洪涝积水监测数据清洗方法。

背景技术

城市洪涝灾害已成为影响我国城市发展的主要自然灾害，每年汛期“城市看海”现象屡屡上演，给城市运转和居民生产生活造成严重影响。由于我国属于大陆性季风气候，降雨时间分布极为不均，而且当前我国正处于新型城镇化快速推进的时期，可以预见，城市洪涝灾害将在未来一个时期长期存在。

城市洪涝防治中，积水的监测是预报预警、规划设计、科学研究的重要基础，许多城市建设了覆盖城市主要积水点的监测体系。随着数据的累积，发现大量数据存在不正常的现象，特别是由于车辆行驶导致积水数据振荡的问题，数据质量难以有效支撑城市洪涝灾害防治。

发明内容

本发明的目的在于针对现有技术中的上述不足，提供一种城市洪涝积水监测数据清洗方法，以解决现有积水监测由于车辆行驶导致积水数据振荡的问题。

为达到上述目的，本发明采取的技术方案是：

一种城市洪涝积水监测数据清洗方法，其包括步骤：

S1、采用插补算法对城市洪涝积水监测数据的缺测值进行数据插补；

S2、基于差值判别算法筛选异常数据点；

S3、根据筛选出的异常数据点判定数据首次峰值或首次谷值的变化为异常波动；

S4、计算首次峰值或首次谷值变化后续数据在执行总时间内的波动变化的频率，当变化的频率大于积水连续波动最小频率的经验值时，则判定执行总时间内的数据波动具有连续性；

S5、采用滑动平均算法对S2、S3和S4中的异常数据进行修正。

进一步地，S1中采用插补算法对城市洪涝积水监测数据的缺测值进行数据插补，包括：

其中，α_qi为缺测数据，i＝1，2，3……为缺测数据的时间顺序，α_m为缺测前最后一位实测数据，α_n为缺测后第一位实测数据，Δt为α_m和α_n的时间间隔，Δt₀为监测周期。

进一步地，S2中基于差值判别算法筛选异常数据点，包括：

计算相邻两个数据点α_i和α_i+1的差值：

Δα＝α_i+1-α_i

其中，Δα为两个相邻数据点的差值，当|Δα|＜β时，β为阈值，则数据点的深度变化为正常情况；当|Δα|≥β时，则后一个数据点为异常变化。

进一步地，S3中根据筛选出的异常数据点判定数据首次峰值或首次谷值的变化为异常波动，包括：

计算相邻两个数据点的变化率ω_i：