[发明专利]一种泵站运行监控数据异常点检测方法

说明书

技术领域

本发明属于数据处理领域，特别涉及一种泵站运行监控数据异常点检测方法。

背景技术

我国水资源分配在空间上不均匀，为了在各流域之间进行合理的水资源调度，近年来，国家以及各级政府新建了众多的调水工程，如“南水北调”，“引滦入津”，“引滦入唐”、“引黄济青”等。调水工程的运行主要依靠各级泵站逐级提水，因此，泵站高效稳定的工作对调水工程至关重要。随着监测技术的发展，泵站自动化水平逐步提高，目前，在泵站运行过程，大量泵站运行状态信息被采集和存储，如压力、温度、水位等。对泵站运行状态监测数据进行处理分析和挖掘，发现泵站运行中的规律，实现泵站故障预测和预报，将对泵站运行调度起到积极的作用。而对泵站运行状态监测数据进行挖掘前，需要对数据进行预处理，发现和修正异常数据，或者从异常数据中发现泵站运行的特殊状态。

在数据挖掘过程中，常常存在与数据模型或数据一般规律不符合的数据对象，这类与其它数据不一致的数据对象就称为异常数据，它们往往容易被人们所忽略。然而，这些数据对象可能是具有特殊意义的，而且相对于那些普通的数据而言，这类异常的数据往往提供了更多的有用信息，它们往往更具有研究价值。因此，可以看到，不能简单的把异常数据看作是“错误的数据”，并进行简单的处理。对于数据中存在的错误数据，需要开发有效的检测算法，为数据分析提供清洁可靠的数据；但也可以看到，某些异常数据可能包含着某种重要的知识，分析它们能获得到有实际应用意义的知识。

异常检测与其它许多数据挖掘研究的对象不同，它不是研究数据集中的绝大多数对象，而是关注那些数据集合中小部分的对象。这些小部分的异常数据(对象)可能包含着某种重要的信息和知识。因此，异常数据检测和分析是一个较为特殊却很有意义的数据挖掘任务。异常点有多种别名，如噪声、偏离点、例外点、孤立点、离群点等。对于数据集合中的异常点(对象)，直观上，它们一般孤立于其它对象存在，因此研究者常使用“孤立点”一词来形象的描述异常点。

异常检测是数据挖掘的一个重要分支。异常点挖掘可以被形式化的描述：给定一个含有N个数据点或对象的集合，发现集合中与其余数据相比显著相异的、异常的或不一致的数据点或对象。所以，异常点挖掘问题可被看作两个子问题：

(1)在给定的数据集合中定义什么样的数据被认为是不一致的；

(2)找到一个有效的方法来挖掘这样的异常点。

异常点挖掘的第一个子问题，即是要解决异常点的定义问题。目前，异常点定义有多种，最具代表性和被广泛接受的是Hawkins早在1980年给出的异常点(Outlier)的本质性定义：异常是在数据集中与众不同的数据，使人怀疑这些数据并非随机偏差，而是产生于完全不同的机制。另外具有代表性的还有V.Barnet等人在1994年在统计学领域给出的异常点直观上的定义：一个异常点(Outlier)是这样的数据点，基于某种度量而言，该数据点与数据集中的其他数据有着显著的不同。

常见异常点检测方法包括：统计学的检测方法、基于距离的检测方法、基于密度的检测方法等。基于统计学的方法是最早被提出用来检测数据集合中异常的方法。基于统计的异常检测方法假设所给定的数据集存在一个分布或概率模型(如一个正态分布)；然后根据相应模型并通过不一致性测试来发现异常数据。应用这种测试需要了解数据集参数的有关知识(如数据分布情况)、分布参数知识(如均值和方差)，以及所预期的异常数据个数。基于距离的异常检测一般根据数据对象的最近邻居来判断其是否为异常点。适合于观测值的分布不符合任何标准分布的情检测方法，并且适合于多维的数据集，因此，其克服了基于统计学的异常点检测方法的两大缺点。基于密度的检测方法在判断一个对象o是否为异常点时，根据对象o周围的数据据点周围密集程度来判断是否为异常点，这个方法的得出的异常的也不够精准，而且不适用于泵站运行监控数据异常点的检测。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供了一种大大提高了准确性，检测结果的实用价值更高的泵站运行监控数据异常点检测方法。

发明内容：为解决上述技术问题，本发明提出一种泵站运行监控数据异常点检测方法，包括以下步骤：

步骤1：对泵站运行进行监测，然后采用泵站自动化系统采集的泵站运行状态监测数据；