[发明专利]一种工业参数离群点检测系统及方法

说明书

本发明公开了一种工业参数离群点检测系统及方法，包括数据预处理模块实现对接收到的原始数据进行清洗、格式转换以及降维处理；数据采集模块实现实时采集工业设备在生产过程中产生的原始数据，并将原始数据上传到所述数据预处理模块；平均密度LOF分析模块用于实现分析经过数据预处理模块处理过的数据，得到分析结果；输出模块用于将平均密度LOF分析模块分析得到的分析结果输出到目标终端；目标终端与输出模块连接，接收平均密度LOF分析模块得到的分析结果数据并进行处理。基于平均密度LOF检测与现有的LOF检测方法相比其检测到的异常点或者离群点精确度更高，提高了工业参数异常点或者离群点的检测准确度，进而提高了产品生产的合格率和产品质量。

技术领域

本发明涉及数据的异常值检测技术领域，特别是涉及一种工业参数离群点检测系统及方法。

背景技术

随着工业4.0的不断发展与深入，各大厂商已经逐步意识到产品的生产参数是决定产品质量的最重要的因素之一，如果不能监控生产过程中产品参数变化，会使得产品质量不可控，严重时会造成整批产品不合格。因此，检测生产过程中的异常数据点是工业生产工作的重要方面；目前，关于异常点检测的常规方法主要有一下几种：

1、基于SVD分解的异常点检测

基于矩阵奇异值分解(SVD)的异常点检测方法的关键思想是利用主成分分析去寻找那些违背了数据之间相关性的异常点。

为了发现这些异常点，基于主成分分析(PCA)的算法会把原始数据从原始的空间投影到主成分空间，然后再把投影拉回到原始的空间。如果只使用第一主成分来进行投影和重构，对于大多数的数据而言，重构之后的误差是小的；但是对于异常点而言，重构之后的误差依然相对大。这是因为第一主成分反映了正常值的方差，最后一个主成分反映了异常点的方差。此思路简洁且易于理解。

但是，这种方法一方面产品工艺参数难以构建、高维协方差矩阵难以求解，另一面是算法的复杂度为o(n³),时间成本太高。

2、基于统计的异常点检测

基于统计的方法检测出来的离群点很可能被不同的分布模型检测出来，可以说产生这些离群点的机制可能不唯一，解释离群点的意义时经常发生多义性，这是基于统计方法的一个缺陷。其次，基于统计的方法在很大程度上依赖于待挖掘的数据集是否满足某种概率分布模型，模型的参数、离群点的数目等对基于统计的方法都有非常重要的意义，而确定这些参数通常都比较困难。为克服这一问题，一些人提出对数据集进行分布拟合，但分布拟合存在两个问题：(1)给出的分布可能不适合任一标准分布；(2)即使存在一个标准分布，分布拟合的过程耗时太长。

此外，基于统计的离群检测算法大多只适合于挖掘单变量的数值型数据，目前几乎没有多元的不一致检验，对于大多数的应用来说，有特别是在工业数据领域，数据集的维数一般都是是高维的。实际生活中，以上缺陷都大大限制了基于统计的方法的应用，使得它主要局限于科研计算，算法的可移植性较差。

3、基于密度的异常点检测算法

基于密度的方法主要思想是将记录之间的距离和某一给定范围内记录数这两个参数结合起来，从而得到“密度”的概念，然后根据密度判定记录是否为离群点，因此能够检测出基于距离的异常算法所不能识别的一类异常数据——局部异常。

基于密度的离群点检测方法中一个比较有代表性的算法LOF(Local OutlierFactor，局部离群因子检测方法)，充分体现了“局部”的概念，每个点都给出了一个离群程度，离群程度最强的那几个点被标记为离群点。目前使用的LOF异常点(离群点)检测方在实际应用中有两个缺陷：

(1)离群因子只与参数k有关，当k取值不同时，离群因子的值将不同，之前是异常点的数据在k值变化之后可能不再是异常点；

(2)对于未知异常点个数的数据集，选择参数k以保证离群点的挖掘数量合理是难以做到的。