[发明专利]基于全局信息的时间序列数据中异常数据点的识别方法

说明书

本发明公开了基于全局信息的时间序列数据中异常数据点的识别方法，包括步骤：获取原始时间序列数据及各数据点的观测值；计算各数据点的观测值变化速度和各数据点的速度变化率；根据各数据点的速度变化率，计算原始时间序列数据的平均速度变化率，统计各数据点的速度变化率的离散概率分布，并对离散概率分布进行拟合得到概率密度函数；根据时间序列数据的值变化速度约束和数据点的速度变化率，检测异常数据点。将时间序列数据的平均速度变化率和速度变化率的概率分布作为全局信息，充分反应了时间序列数据的整体特性，通过查找违背整体特性的数据点能够对异常数据点进行有效识别，识别出异常数据点。该方法对时间序列数据中突发异常数据点能准确识别。

技术领域

本发明属于数据清洗领域，更为具体地讲，涉及一种基于全局信息的时间序列数据中异常数据点的识别方法。

背景技术

随着信息技术的发展，数据无时无刻不在产生和使用。各行各业的数据在不断地增长，数据已经在人们的生活中成为了十分重要的角色。由于各种各样的传感器被广泛使用，日常生活中越来越多的时间序列数据被采集和应用，例如气温数据和GPS轨迹数据。因为这些数据中蕴含着丰富的信息，使得时间序列数据挖掘成为了当今的一个热门研究课题。然而，与此同时脏数据也广泛存在于时间序列数据中，低质量的时间序列数据给数据挖掘和分析带来了巨大的影响。毫无疑问，通过清洗时间序列数据，从而提高时间序列数据的数据质量，可以有效地改善数据挖掘的结果，具有重要意义。

其中，如何从时间序列数据中检测突发异常点，是数据清洗中的一项重要内容。由于传感器错误和其他原因，导致时间序列数据中通常存在一些错误的数据点。而这些错误的异常数据点的位置通常难以判断，使得时间序列数据清洗成为极具挑战性的问题。基于平滑的方法通常用于消除序列中的异常数据点，如简单移动平均(SMA)和指数加权移动平均(EWMA)。然而，这类方法仅对序列中的所有数据点都进行平滑处理，难以有效判断异常点的位置。

综上，目前在识别时间序列数据中的突发异常数据点时，存在难以有效准确的判断异常数据点的位置的问题，从而影响对异常数据点的识别。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于全局信息的时间序列数据中异常数据点的识别方法，实现对时间序列数据中突发异常数据点的准确识别。

为实现上述发明目的，本发明一种基于全局信息的时间序列数据中异常数据点的识别方法，包括以下步骤：

S1：获取原始时间序列数据；

S2：根据所述原始时间序列数据中各数据点的观测值，计算各数据点的观测值变化速度，并根据各数据点的观测值变化速度计算出各数据点的速度变化率；

S3：统计原始时间序列数据各数据点的平均速度变化率和速度变化率的离散概率分布，并使用正太分布拟合速度变化率的概率分布，得到概率密度函数；