[发明专利]基于双时间窗口验证的水质监测噪音数据实时检测方法

说明书

本发明提供了一种基于双时间窗口验证的水质监测噪音数据实时检测方法，并包括如下步骤：一、获取第一历史时间窗口内的第一历史水质数据，并基于第一历史时间窗口的第一历史水质数据计算水质数据的第一预测区间；二、获取实时水质数据，并判断实时水质数据是否落在第一预测区间内，如果是，则判断实时水质数据为正常数据，如果否，则执行步骤三；三、从实时水质数据开始按时间倒序获得第二历史时间窗口内第二历史水质数据，并基于第二历史时间窗口的第二历史水质数据计算水质数据的第二预测区间；四、判断实时数据是否落入所述第二预测区间，如果是，则判断实时水质数据为正常数据，如果否，则判断实时水质数据为噪音数据。

技术领域

本发明属于水质监测技术领域，具体地涉及一种基于双时间窗口验证的水质监测噪音数据实时检测方法。

背景技术

随和人类经济发展，一方面我们需要越来越多的清洁淡水资源，另一方面我们的工业生产和人类生活对淡水河流造成越来越多的污染，严重影响了河流生态系统和人类可持续发展。通过传感器对河流水质进行实时监测是对水资源进行保护的一个有效手段，得到了越来越多的应用。受野外恶劣自然环境、传感器可靠性、数据传输稳定性等多方面影响，传感器实时采集的水质监测数据中带有很多噪音数据。由于这类数据不能反映水质变化的真实情况，其对水质监测数据的可靠性造成很大影响，不但会引起监测系统的误报警，也会对后期的水质数据处理和分析带来误差。因此需要研究新的算法来实时检测并剔除这类噪音数据，提升水质实时监测系统的稳定性和可靠性。

目前异常数据检测方法较多，诸如：回归分析、灰色系统、人工神经网络、概率模型等。上述方法都基于水质数据完全没有背景噪音数据干扰的假设下，对水质数据进行分析和预测，这与实际情况不符。现有的时间窗口法综合考虑时间窗口内所有水质数据的权重系数来预测下一个水质参数的上下限区间，当实际值超过预测区间时，即认为该值为噪音数据。这种方式实现简单，但只考虑了当前数据与时间窗口内历史数据关联性，却没有考虑该当前数据与后续数据的关联性，因此误检率较高。

发明内容

本发明的目的在于提供一种通过第二个时间窗口对可能的噪音数据进行二次验证，从而有效降低噪音数据误检率的基于双时间窗口验证的水质监测噪音数据实时检测方法。

本发明的技术方案如下：一种基于双时间窗口验证的水质监测噪音数据实时检测方法包括如下步骤：

一、获取第一历史时间窗口内的第一历史水质数据，并基于所述第一历史时间窗口的第一历史水质数据计算水质数据的第一预测区间；

二、获取实时采集的实时水质数据，并判断所述实时水质数据是否落在所述第一预测区间内，如果是，则判断所述实时水质数据为正常数据，如果否，则执行步骤三；

三、从所述实时水质数据开始按时间倒序获得第二历史时间窗口内第二历史水质数据，并基于所述第二历史时间窗口的第二历史水质数据计算水质数据的第二预测区间；

四、判断所述实时数据是否落入所述第二预测区间，如果是，则判读所述实时水质数据为正常数据，如果否，则所述实时水质数据为噪音数据。

优选地，所述步骤一包括如下步骤：选择一个连续时间段内的历史水质数据作为模型训练数据，并均分为Y组，其中，Y为正整数；计算每一组所述模型训练数据的残差，并计算Y组所述模型训练数据的残差平均值；通过十字交叉法计算所有所述模型训练数据的残差标准差；利用delta学习算法确定所述第一历史时间窗口内每个历史水质数据的初始权重系数，并根据模型训练数据得到的残差标准差计算出待采集的下一个水质数据的第一预测值；基于学生分布函数和所述第一预测值计算出待采集的下一个水质数据的第一预测区间。

优选地，所述步骤三包括如下步骤：利用delta学习算法确定所述第二历史时间窗口内每个数据的初始权重系数，并根据步骤一得到的残值标准差计算出待采集的下一个水质数据的第二预测值；基于学生分布函数和所述第二预测值计算出所述待采集的下一个水质数据的第二预测区间。