[发明专利]对连续性数据中的异常数据的恢复方法

说明书

本发明涉及数据处理技术,其公开了一种对连续性数据中的异常数据的恢复方法，解决现有技术中对于异常数据的处理方案存在数据质量不高的缺陷。该方法包括：a.检测原始数据中的异常数据；b.对正常数据的数据特征进行分析和提取，构造特征数据矩阵；c.定义数据恢复预测模型；d.利用特征数据矩阵对数据恢复预测模型进行训练，获得训练好的数据恢复预测模型；e.将异常数据的数据特征作为输入，利用训练好的数据恢复预测模型进行预测，获得异常值对应的修正值；f.利用异常值对应的修正值来替换异常值。本发明适用于连续性数据中异常数据的处理。

技术领域

本发明涉及数据处理技术,具体涉及一种对连续性数据中的异常数据的恢复方法。

背景技术

在连续性数据采集的过程中，有时候会因为各种原因导致采集数据的异常，例如：某一日中，数据采集服务器集群中的部分服务器异常，无法接受来自部分终端上传的部分数据，导致当日采集的数据异常。

现有技术中，对于异常数据的处理一般采用以下方式：

1.删除异常数据；

2.利用异常数据附近点的均值来对异常值进行填补。

在实际生产过程中，第一种方式在对数据质量要求不高的情况下可行，比如使用数据的人员只关心终端活跃率的趋势走向，并不关心具体某一天的终端用户活跃率，此时，删除不对数据趋势产生影响的异常数据是可行的；但是，如果使用数据的人员对数据质量要求较高，且不允许数据有缺失，那么这种方式就不可行。

第二种方式虽然填补了异常值，但是利用一般的统计方法填补的值是粗糙的，丢失了部分数据特征，最后的填补值与真实值的差距比较大，也会影响整个数据的准确性。

综上，现有技术对于异常数据的处理方案存在数据质量不高的缺陷。

发明内容

本发明所要解决的技术问题是：提出一种对连续性数据中的异常数据的恢复方法，解决现有技术中对于异常数据的处理方案存在数据质量不高的缺陷。

本发明解决上述技术问题采用的技术方案是：对连续性数据中的异常数据的恢复方法，包括以下步骤：

a.检测原始数据中的异常数据；

b.对正常数据的数据特征进行分析和提取，构造特征数据矩阵；

c.定义数据恢复预测模型；

d.利用特征数据矩阵对数据恢复预测模型进行训练，获得训练好的数据恢复预测模型；

e.将异常数据的数据特征作为输入，利用训练好的数据恢复预测模型进行预测，获得异常值对应的修正值；

f.利用异常值对应的修正值来替换异常值。

作为进一步优化，步骤a中，采用四分位法则来计算数据的正常值的上下限，并将原始数据与正常值的上下限进行比较，若在上下限范围外，则属于异常数据。

作为进一步优化，步骤b中，基于数据指标的关联关系对正常数据的数据特征进行分析和提取。

作为进一步优化，步骤c中，定义带有未知参数的数据恢复预测模型：Y＝C^TX^T+B，其中C^T为参数矩阵，X^T为特征数据矩阵，B为偏置项。

作为进一步优化，步骤d中，采用线性回归算法对数据恢复预测模型进行训练：

在训练前，将特征数据矩阵划分为训练集数据和测试集数据，训练时，利用训练集数据训练模型，利用测试集数据来验证模型。

本发明的有益效果是：