[发明专利]一种数据清洗方法和系统

说明书

本发明涉及一种数据清洗方法和系统，该数据清洗方法包括：对所述传感数据进行识别，得到噪声数据；计算当前噪声数据的预设时间段前的平均值；使用平均值取代噪声数据中的当前噪声值。本发明的数据清洗方法通过对所述传感数据进行识别，得到噪声数据；计算当前噪声数据的预设时间段前的平均值；使用平均值取代噪声数据中的当前噪声值，这样能够将传感数据中的由周围的环境变化或者人为原因等引起的噪声数据清理掉，使传感数据曲线变得平滑，方便后续传感数据的处理，而且该方法使用预设时间段前的平均值取代噪声数据中的当前噪声值，简单方便，准确度高。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据清洗方法和系统。

背景技术

在环境质量监测系统中，传感数据是从传感器获取到的，而传感器又属于高灵敏器件，在运行过程中容易被周围的环境变化或者人为原因等导致传感器在某个瞬间的值突变（异常高或者异常低等)，这些突变的数据并不能反应监测点的真实情况，因此这类数据不能直接用于业务分析。在大数据挖掘领域称这类数据为噪声数据。 因此,为了获得对比较准确的分析结果，行业内需要一种在分析前对噪声数据进行识别和清理的方法。

发明内容

针对现有技术存在的突变的数据并不能反应监测点的真实情况的问题，本发明提供一种数据清洗方法和系统。

本申请的具体方案如下：

一种数据清洗方法，包括：对所述传感数据进行识别，得到噪声数据；计算当前噪声数据的预设时间段前的平均值；使用平均值取代噪声数据中的当前噪声值。

优选地，对所述传感数据进行识别，得到噪声数据包括：识别出所述传感数据在某个时刻的值突变，突变后的值为噪声数据；突变包括某一时刻的值相对于前一时刻和后一时刻的值异常的高或者某一时刻的值相对于前一时刻和后一时刻的值异常的低。

优选地，识别出所述传感数据在某个时刻的值突变，突变后的值为噪声数据包括：基于密度的聚类算法DBSCAN ，识别出所述传感数据在某个时刻的值突变，突变后的值为噪声数据。

优选地，传感器数据包括：甲醛、VOC、二氧化碳、pm2.5、pm10、一氧化碳、臭氧、二氧化氮、二氧化硫中至少一种。

优选地，所述预设时间段为1小时。

一种数据清洗系统，包括： 识别模块、平均值计算模块和取代模块；所述识别模块，用于对所述传感数据进行识别，得到噪声数据；所述平均值计算，用于计算当前噪声数据的预设时间段前的平均值；所述取代模块，用于使用平均值取代噪声数据中的当前噪声值。

优选地，所述识别模块，还用于识别出所述传感数据在某个时刻的值突变，突变后的值为噪声数据；突变包括某一时刻的值相对于前一时刻和后一时刻的值异常的高或者某一时刻的值相对于前一时刻和后一时刻的值异常的低。

优选地，所述识别模块，还用于基于密度的聚类算法DBSCAN ，识别出所述传感数据在某个时刻的值突变，突变后的值为噪声数据。

优选地，传感器数据包括：甲醛、VOC、二氧化碳、pm2.5、pm10、一氧化碳、臭氧、二氧化氮、二氧化硫中至少一种。

优选地，所述预设时间段为1小时。

与现有技术相比，本发明具有如下有益效果：

本实施例的数据清洗方法通过对所述传感数据进行识别，得到噪声数据；计算当前噪声数据的预设时间段前的平均值；使用平均值取代噪声数据中的当前噪声值，这样能够将传感数据中的由周围的环境变化或者人为原因等引起的噪声数据清理掉，使传感数据曲线变得平滑，方便后续传感数据的处理，而且该方法使用预设时间段前的平均值取代噪声数据中的当前噪声值，简单方便，准确度高。

附图说明

图1为一实施例的数据清洗方法的示意性流程图；