[发明专利]用水量时序数据的异常值处理方法和异常值处理装置

说明书

公开用水量时序数据的异常值处理方法和异常值处理装置，所述异常值处理方法包括：检测所述用水量时序数据中的第一类型的异常值，并对所述第一类型的异常值进行第一校正，从而获得经过第一校正的用水量时序数据作为第一数据集；将所述第一数据集分解为趋势项数据、周期项数据和残余项数据，基于趋势项数据、周期项数据和残余项数据，确定第一数据集中的第二类型的异常值，并对第二类型的异常值进行第二校正，从而获得经过第二校正的第一数据集作为第二数据集；基于所述第二数据集中的各个异常值时刻的数据及其相邻数据，对所述第二数据集中的各个异常值时刻的数据进行校正。该异常值处理方法能够准确和快速地对用水量时序数据的异常值进行校正。

技术领域

本公开总体说来涉及大数据技术领域，更具体地讲，涉及一种用水量时序数据的异常值处理方法和异常值处理装置。

背景技术

随着互联网和物联网等技术的发展，大数据技术被广泛应用到各行各业，例如水资源、交通、气象和电力等行业。为了保证数据的完备性和真实性，需要对数据的异常值进行检测和校正等方面的处理。对于数据的异常值处理，其难点在于，数据的采集、传输和汇聚等过程十分复杂，很容易造成数据错误，例如数据缺失等。此外，对于同时具有一定规律性、周期性和随机性的时间序列数据，进行处理的关键在于有效地挖掘规律、检测异常并校正数据。

根据异常数据的特点，数据的异常值可分为异常大值、异常小值、零值、负值和缺失值等类型。其中，零值和负值的成因复杂，需要筛选出来进行人工鉴别，在鉴别数据中的零值和负值是否是异常值时，需结合数据的实际情况来判定；异常大值和异常小值是区别于数据正常规律的值，不是简单的在某一阈值之外的数据，因为对于正常范围内的数据，如果与邻近时刻的数据规律不一致，也应该判断为异常值；缺失值一般是由客体异常造成的，若对缺失值只进行简单的删除或置零处理，则会对缺失值邻近时刻的数据准确性造成影响，因此需要对此类异常值进行校正。

数据中直观可辨识的异常值是可以由数值的变化幅度或统计曲线趋势直接获得的异常数据。对于监控系统的数据状态，直观可辨识的异常数据如下：①数值连续为零；②数值连续不变；③数值突变过大、过低或为零。

需要说明的是，仅仅依靠数据特征来检测异常值往往都有不全面性，存在误报的情况。对于取水数据来说，基于数据特征只能找出“疑似异常值”，还需要结合取水点的其它信息以及专家知识来进行准确性判断。因此，仅从数据特征分析层面得到的“疑似异常值”，与实际异常值存在一定差异。

在用水量时序数据的异常值处理方面，现有方法常常使用已有的经典算法，例如小波变换和EMD等，这些已有的经典算法对于非线性数据的特征获取能力不足，在考虑数据的趋势性、周期性和随机性时，难以对数据进行恰当的拟合；或者使用复杂算法，例如粒子群算法和神经网络等，这些复杂算法虽然能够拟合数据特征，但是数据处理的复杂度较高，在结合实时数据的复杂特征时，难以对数据进行快速的处理。

发明内容

本公开基于对数据的趋势性、周期性以及随机性进行分析，提供一种用水量时序数据的异常值处理方法和异常值处理装置，从而准确和快速地对用水量时序数据的异常值进行处理。

在一个总的方面，提供一种用水量时序数据的异常值处理方法，所述异常值处理方法包括：检测所述用水量时序数据中的第一类型的异常值，并对所述第一类型的异常值进行第一校正，从而获得经过第一校正的所述用水量时序数据作为第一数据集；将所述第一数据集分解为趋势项数据、周期项数据和残余项数据，基于所述趋势项数据、周期项数据和残余项数据，确定所述第一数据集中的第二类型的异常值，并对所述第二类型的异常值进行第二校正，从而获得经过第二校正的所述第一数据集作为第二数据集；基于所述第二数据集中的各个异常值时刻的数据及其相邻数据，对所述第二数据集中的各个异常值时刻的数据进行校正，其中，所述异常值时刻反映所述第一类型的异常值在所述用水量时序数据中的位置以及所述第二类型的异常值在所述第一数据集中的位置。