[发明专利]一种面向MES的数据清洗方法及系统

说明书

本发明公开了一种面向MES的数据清洗方法及系统，所述数据清洗方法包括：采用可变窗口的SNM算法计算待清洗数据中每两条记录之间的相似度；根据每两条记录之间的相似度，对待清洗数据中的重复数据进行处理，获得处理后的数据；采用KNN缺失填充算法填补处理后的数据中的缺失数据，获得清洗后的数据。本发明采用改进的SNM算法计算记录之间的相似度，并根据相似度进行重复数据处理和缺失数据填补，本发明实现了对MES中的数据进行数据清洗，减小了MES中的数据中的重复数据，并补充了MES中的数据中的缺失数据，克服了重复数据占用数据库的存储资源以及相似重复数据和缺失数据对生产管理与决策产生不良影响的技术缺陷。

技术领域

本发明涉及数据处理技术领域，特别涉及一种面向MES的数据清洗方法及系统。

背景技术

在制造生产中MES(Manufacturing Execution System，制造执行系统)的数据库中会存入大量的数据，由于设备、技术等原因，难免会出现一些缺失数据、相似重复数据的异常情况，这些数据可能会对生产管理与决策产生不良影响，也可能由于无法被利用造成数据库的存储资源的浪费。

近年来，数据挖掘在信息产业领域的应用越来越频繁，被越来越多的应用于MES系统的数据处理中。据统计在一个完整的数据挖掘过程中，数据预处理要花费约60％左右的时间。数据清理是数据预处理的重要组成部分。数据挖掘结果的准确性与数据集中的数据的准确性有关，如果数据集中的数据不准确，那么数据挖掘的结果必然会受到影响。数据清洗主要是处理缺失数据和清洗脏数据。数据清洗的原理是利用算法、构建模型、专家参与等方式，分析问题数据将其转换为满足完整性、一致性、有效性等数据质量要求的数据，从而达到提高数据质量的要求。

由于MES中的数据是多源的，容易出现相似重复数据的情况，另外传感器故障、采集和传输过程干扰或生产状态的改变，可能会出现部分数据的缺失。

现有的MES系统缺少对数据库进行清洗的方法，存在重复数据占用数据库的存储资源以及相似重复数据和缺失数据对生产管理与决策产生不良影响的缺陷。数据清洗包括缺失数据和相似重复数据的处理。数据库中的相似重复记录是指那些客观上表示现实世界同一实体，但是由于来自于不同数据源而产生的重复记录或在格式和拼写上有差异而导致数据库管理系统不能正确识别的记录。相似重复记录分为两大类，一类是完全一致的记录，另一类是相似但是不完全相同的记录。缺失值是由于传感器故障、采集和传输过程干扰或生产状态的改变等原因产生的空缺数据。

如何对MES中的数据进行数据清洗，以减小MES中的数据中的重复数据，并补充MES中的数据中的缺失数据，成为一个亟待解决的技术问题。

发明内容

本发明的目的是提供一种面向MES的数据清洗方法及系统，以实现对MES中的数据进行数据清洗，减小MES中的数据中的重复数据，并补充MES中的数据中的缺失数据。

为实现上述目的，本发明提供了如下方案：

一种面向MES的数据清洗方法，所述数据清洗方法包括如下步骤：

采用可变窗口的SNM算法(Sorted-neighborhood Method，邻近排序算法)计算待清洗数据中每两条记录之间的相似度；

根据每两条记录之间的相似度，对待清洗数据中的重复数据进行处理，获得处理后的数据；

根据每两条记录之间的相似度，采用KNN(K-nearestNeighbour，K近邻)缺失填充算法填补处理后的数据中的缺失数据，获得清洗后的数据。

可选的，所述采用可变窗口的SNM算法计算待清洗数据中每两条记录之间的相似度，具体包括：

判断窗口内第一条记录与最后一条记录的相似度是否小于第一相似度阈值，获得第一判断结果；