[发明专利]一种改善时序数据质量和预警的方法及装置

说明书

本发明公开了一种改善时序数据质量和预警的方法及装置，包括：对原始的时间序列数据进行数据清洗；对数据清洗后的时间序列数据进行小波变换；对小波变换后的时间序列数据进行数据滤波，得到滤波时间序列；当检测所述滤波时间序列中的数据超过第一阈值且数据保持超过第一阈值的时长超过第一时间阈值时，则记录为一次预警预兆信号；在第二时间阈值内，记录了超过N次预警预兆信号时，发出预警信号。本发明对时间序列数据进行去噪，同时降低去噪过程中失真情况，提高时间序列数据的质量，通过设置阈值判断预警预兆信号，根据检测情况发出预警信号。

技术领域

本发明涉及数据处理技术领域，更具体地说涉及一种改善时序数据质量和预警的方法及装置。

背景技术

近几年随着科技的发展，出现了越来越多的以时间和空间为维度的数据。例如在生物医学方面，基因数据就是以空间为维度的数据，针对基因数据的异常检测可以发现疾病；在金融方面，持卡人的消费记录就是以时间为维度的数据，通过检测持卡人的消费记录所对应的时间序列数据，可以找到异常持卡人；在工业方面，温度传感器、压力传感器等的数据都是以时间和空间为维度的数据。

这些时间序列数据中蕴含了大量的信息，但时间序列数据中存在许多噪声，对时间序列数据进行数据挖掘之前需要对时间序列数据进行预处理，提高时间序列数据的质量，不然时间序列数据中的噪音严重影响了进一步地分析和处理，同时对数据进行判断是不准确的。但现有技术中时间序列数据预处理方法通常是不彻底的，这会影响后续的数据挖掘效果。

发明内容

本发明提供一种改善时序数据质量和预警的方法及装置，提高时间序列数据的质量和发出预警。

本发明解决其技术问题的解决方案是：

一种改善时序数据质量和预警的方法，其特征在于，包括：

对原始的时间序列数据进行数据清洗；

对数据清洗后的时间序列数据进行小波变换；

对小波变换后的时间序列数据进行数据滤波，得到滤波时间序列；

当检测到所述滤波时间序列中的数据超过第一阈值且数据保持超过第一阈值的时长超过第一时间阈值时，则记录为一次预警预兆信号；

在第二时间阈值内，记录了超过N次预警预兆信号时，发出预警信号。

作为上述技术方案的进一步改进，所述对原始的时间序列数据进行数据清洗的过程包括：

对原始的时间序列数据中的脏数据进行去除，所述脏数据包括缺失值和异常值。

作为上述技术方案的进一步改进，所述对原始的时间序列数据中的脏数据进行去除的过程包括：

对所述缺失值进行均值填补；

利用单变量的散点图对所述异常值进行初步判断，再利用统计学3σ法原则进行述异常值的排查，先采用零值替换法剔除异常值，然后利用均值填补。

作为上述技术方案的进一步改进，对小波变换后的时间序列数据进行数据滤波的过程包括：

对小波变换后的时间序列数据进行卡尔曼滤波。

一种改善时序数据质量和预警的装置，包括：

数据采集模块，用于监测和采集时间序列数据，并将采集得到的时间序列数据发送到处理模块；

处理模块，用于对数据采集模块采集得到的时间序列数据进行处理，检测预警预兆信号，控制预警模块发出预警信号；

预警模块，当数据处理模块检测在第二时间阈值内记录了超过N次预警预兆信号时，控制预警模块发出预警信号；

所述处理模块分别与数据采集模块和预警模块相连接。