[发明专利]一种对工业设备采集的数据进行处理和检测的方法及装置

说明书

本发明提供一种对工业设备采集的数据进行处理和检测的方法及装置，所述方法包括：接收由工业设备的传感器采集的数据；对所述数据的无效值进行修正；根据数据缺失情况及与所述工业设备的传感器的数据采样对照关系，将缺失的数据分为短时缺失和长时缺失两类；采用基于双层LSTM模型补全缺失数据；合并处理重复值；检测时间序列的异常，所述时间序列的异常包括异常点和模式异常；根据异常点和模式异常数据生成报告。根据本发明的方案，可以分别找出所有异常点和模式异常点，为工厂提供更准确的设备异常信息。为工厂提供准确的设备状态变化信息，可以挖掘工业设备的潜在故障，实现设备的预维护和性能退化评估。

技术领域

本发明涉及工业数据处理领域，尤其涉及一种对工业设备采集的数据进行处理和检测的方法及装置。

背景技术

工业大数据由工业领域信息化应用所产生的海量数据组成，由于数据采集系统的缺陷、链路问题、硬件故障、人为因素等原因，造成数据质量问题的广泛存在，而低劣的数据可能会导致分析结果出现偏差，引发生产事故，因此，迫切需要对工业大数据进行清洗操作。

数据清洗的原理是利用如数理统计、数据挖掘或预定义的清洗规则将脏数据转化为满足数据质量要求的数据，主要处理方式包括：无效值的修正、缺失值的补全、重复数据的合并、异常值的检测。

无效值是指格式不符合规范，或者数值没有意义的错误数据。工业设备采集的数据中，异常值通常与无效值相互混杂。

缺失值是指由于存储设备损坏、数据输入违反规则或数据采集设备容量的限制等主观、客观原因导致缺失的数据。现有技术是保留完整的记录来分析查询，但这种方式只适用于缺失率非常低的情况。若有大量数据缺失，会导致数据分布的偏差以及对数据分析结果的误导。更合理的处理方式应当是尽可能多地恢复丢失信息。常见的恢复丢失信息的处理方式是用均值或者最常出现的值进行替换。但上述处理方式忽略了工业设备采集的数据的属性之间的关系，对同一属性的所有缺失的数据都填充一个固定值并不可取。还有许多统计学与机器学习的模型被用来解决数据缺失的问题，常见的统计学填充方法有EM算法、回归预测法、插值法等。机器学习领域中包括KNN聚类法、分类算法和神经网络算法，但基于统计学与机器学习的模型也没有考虑到工业设备采集的数据的属性之间的关系。即传统方法对缺失值的处理通常只考虑数据的自相关性，并未考虑其他相关维度数据变化的影响。

重复数据是指名称或者属性值相同的数据，根据预先设置好的判断标准来检测工业设备采集的数据中是否有重复记录。合并或消除是处理重复数据的基本方法。

异常值是指时间序列中与其他部分的波动明显不同的数据点或数据段。目前常用的异常检测方法包括基于统计的方法、基于聚类的方法、基于近邻的方法。基于统计的方法是假定正常数据是由符合某种分布的统计模型生成的，违背规律的数据就是异常值；还可以通过假定在随机模型中高概率区域中出现正常值的概率来描述，而异常值出现在低概率区域中。该方法的缺点是高度依赖于数据的模型假设。基于聚类的方法，通过聚类创建数据模型，将相似的数据分到同一个簇中，尽可能地使簇内相似度大，簇间相似度小。如果一个数据不属于任何簇，或者远离其他簇，则可以判断该数据为异常值。基于聚类的方法更适合检测全局异常值。基于近邻的方法，假设正常数据位于密度较高的邻域，而异常值通常远离其邻域，位于稀疏区域。基于近邻的方法包括基于距离和基于密度的方法两种。但现有技术中只能检测出异常点，却无法检测出模式异常状态。

发明内容

为解决上述技术问题，本发明提出了一种对工业设备采集的数据进行处理和检测的方法及装置，所述方法及装置，用以解决现有技术中对数据清洗，尤其是对工业设备采集到的数据清洗时，没有考虑到工业设备采集的数据的属性之间的关系、以及无法检测出模式异常状态的技术问题。

根据本发明的第一方面，提供一种对工业设备采集的数据进行处理和检测的方法，所述方法包括以下步骤：

步骤S101：步骤S101：接收由工业设备的传感器采集的数据；