[发明专利]一种高维数据流异常监控方法及系统

说明书

本申请实施例提出了一种基于SVM‑WAMCUSUM控制图的高维数据流异常监控方法及系统，该方法包括：获取高维数据流，按照类别信息对高维数据流进行划分获得原始特征集合；根据原始特征集合对SVM进行训练，得到SVM的最优分类超平面函数；利用最优分类超平面函数计算每个特征的得分，进行排序获得特征排序集，不断删除得分最小的特征并对特征排序集进行更新，利用剩余特征再次训练SVM，直到所有特征均被筛选，结束循环、输出最终的特征排序集；保留重要性排名靠前的k个特征，将其训练样本组成数据集Y；根据Y计算出漂移δ的一个无偏估计量并将Y和分别代入WACMCUSUM图和WAPMCUSUM图，计算过程控制统计量和控制限，完成控制图的绘制，当统计量大于控制限时，控制图启动失控信号。

技术领域

本申请涉及质量控制技术领域，具体涉及一种高维数据流异常监控方法及系统。

背景技术

现如今，由于企业发展的多样性以及生产规模的扩大，生产过程中产生的数据量巨幅增长，维度也越来越高。在工业领域已经呈现海量数据。近年来对高维数据流过程的监控日益引起相关领域学者的关注。在高维数据流情况下，传统的过程控制模型的监控效果一般，在异常出现时不能快速发出报警信。控制图是统计过程控制中常用的工具之一，在控制产品质量方面发挥了重要作用。控制图的主要目的是监控过程，及时发出失控报警，减少资源浪费。

统计过程控制的作用是当过程控制中出现异常时，通过控制图的统计量和控制限快速发出报警信号，从而减少损失。但由于高维数据流的现实性与冗杂程度，以往对低维数据流所适用的过程控制图都存在一些不足。因此，为了能够适应当今快速发展的工业，有效解决高维数据流带来的一些挑战，一种有效的高维数据流异常监控方法对当前的工业生产监测有非常重要的意义。当前国内外在高维数据流异常监控方面的问题，常见的研究思路有两种：(1)从控制图自身出发，改进现存控制图或提出新的控制图，以适应高维数据流过程；(2)将控制图与降维方法结合，降低高维数据的处理难度。相较而言，这两种思路各有优劣，但控制图与降维的结合可以在一定程度上避免“维度灾难”。

鉴于此，设计一种能够有效应对高维数据流数据量大，数据维度高，数据质量特性繁多，数据价值密度相对较低等特征造成的一系列问题的异常监控方法及系统具有十分重要的意义。

发明内容

根据本申请的第一方面，提出了一种高维数据流异常监控方法，该方法包括以下步骤：

S110、获取高维数据流Z_t∈{0,1}，按照类别信息对高维数据流进行划分获得原始特征集合S＝{1,2,K,p}；

S120、根据原始特征集合对支持向量机SVM分类器进行训练，得到支持向量机SVM分类器的最优分类超平面函数；

S130、利用最优分类超平面函数计算每个特征的得分，并进行排序获得特征排序集，不断删除得分最小的特征以及对特征排序集进行更新，利用剩余的特征再次训练支持向量机SVM分类器，直到所有特征均被筛选，结束循环、输出最终的特征排序集；

S140、保留最终的特征排序集中重要性排名靠前的k个特征，将k个特征对应的训练样本组成数据集Y；以及

S150、根据数据集Y计算出漂移δ的一个无偏估计量并且将数据集Y和无偏估计量分别代入WACMCUSUM图和WAPMCUSUM图，计算过程控制统计量和控制限，最终完成控制图的绘制，当统计量大于控制限时，控制图启动失控信号。

通过该方法，将支持向量机分类器(SVM)和加权自适应多变量累积和(WAMCUSUM)图相结合，抓住高维数据流的主要特征，及时发现异常、发出报警信号，减少资源的浪费。

在一些实施例中，在步骤S120中，还包括给定其中，x_i∈R^d是预测变量，y_i∈{0,1}是一列类变量，N是样本数，d是样本特征数，支持向量机SVM分类器的最优分类超平面函数通过公式(1)求解获得：