[发明专利]面向工业大数据的多层增量特征提取方法

说明书

本发明提出了一种面向工业大数据的多层增量特征提取方法，其特征在于，包括如下步骤：首先对实时数据采用滑动窗口动态更新数据，对上一个窗口数据利用基于反k近邻方法检测离群点，然后基于IPCA进行初步特征提取，对初步提取的特征进行增量更新协方差矩阵的特征值和特征向量；根据Fisher准则函数量化主元信息，通过熵值法分析主元贡献率和判别能力权重；然后获取主元综合得分、筛选主元；此时进行第二次特征提取，提取的特征与当前窗口的数据进行投影进行增量线性判别分析；最后降维喝分类后的数据样本。

技术领域

本发明涉及一种面向工业大数据的多层增量特征提取方法。

背景技术

德国工业4.0及中国制造2025的提出，使工业智能化发展快速升温，大量物联网传感器及带数据接口装备的使用，形成了海量的工业实时数据，设计业务、生产业务、质量检测业务及运维业务的正确设计与执行对过程实时数据依赖越来越强烈，对大数据实时处理技术提出了更高的要求。由于工业数据采集技术、通讯技术、采集成本、数据存储等限制，以及目前个性化定制化产品的日益增多，使得大数据中存在数据维度高，数据样本小，以及低价值数据多等问题，这些问题使得数据实时分析难度加大。

因此，为了充分发挥工业大数据的实时处理作用，就必须对工业大数据进行实时降维处理，特征提取是常用方法之一，其原理是将原数据空间通过线性或非线性方法映射到一个维度更低、变量间相互独立的特征空间。通过该变换来消除变量之间的相关性，降低噪音并删除冗余信息，以较少的新变量之间的互补作用来最大限度地保留原始数据的信息。目前数据降维方法多以传统方法为基础，对新到达数据进行快速更新计算。传统特征提取方法主要有主成分分析(Principal Component Analysis，PCA)、线性判别分析(LinearDiscriminant Analysis,LDA)和偏最小二乘法(Partial Least Squares,PLS)等：

1)在主成分分析方面，文献提出一种适用于处理分布式数据流的PCA算法，利用滑动时间窗口机制与并行计算模型相结合，完成数据流实时快速降维，更适合大规模数据流计算与应用；文献设计了一种增量核主成分分析算法，其迭代估计只占用线性内存开销，降低了运算复杂度；文献在增量核主成分分析的基础上，提出了一种针对大数据量的扩展增量核主成分分析算法，进一步减少了计算时间和内存使用量；文献提出了一种奇异值分解(Singular Value Decomposition,SVD)的核主成分分析算法，该算法首先利用降核主成分分析(Reduced Kernel Principal Component Analysis,RKPCA)选择观察值，然后使用增量和递减的内核矩阵SVD更新RKPCA模型，降低了对内存和计算时间的要求。