[发明专利]基于连续MapReduce的分布并行PCA过程监测建模方法

摘要

本发明公开了一种基于连续MapReduce的分布并行PCA过程监测建模方法，属于工业过程监测与控制领域。该方法给出了基于MapReduce的分布并行设计方案，其中包括利用三次MapReduce实现大规模数据的标准化，基于事先标记矩阵相乘所需元素的方法，通过一次MapReduce实现大规模矩阵相乘进而计算出协方差矩阵，最后在计算T2和SPE统计量时利用一次MapReduce实现每个样本与投影矩阵并行相乘，通过上述连续的MapReduce操作能够将一些随样本量增加而耗时的操作进行分解，并行地完成运算，能够有效地提升PCA过程监测模型的建模速度。

主权项

1.一种基于连续MapReduce的分布并行PCA过程监测建模方法，其特征在于，所述分布并行PCA过程监测建模方法包括以下步骤：(1)收集历史工业过程中正常数据样本集和故障数据样本集，正常数据样本集中共有n个样本，每个样本具有m个过程变量，正常数据样本集表示为S_normal(x)＝{x_i|i＝1,2，…,n}，其中x_i为变量，共有m个列，x_i∈R^1×m；并用S_normal(x_i)表示正常样本集中第i个样本，故障数据样本集与正常数据样本集具有相同的形式，表示为S_fault(x)＝{x_i|i＝1,2，…,n_t}，n_t为故障数据样本集中的样本个数。(2)基于MapReduce框架将步骤(1)中的得到的正常数据样本集和故障数据样本集进行分布式标准化，具体过程为：(2.1)将正常数据样本集中的样本S_normal(x)存储在分布式文件系统中，分布存储的块数为K。(2.2)在第一次MapReduce操作中，在Map阶段将在不同数据块中的每个样本并行地转换为key为1的键值对<1,S_normal(x_i)>，在Reduce阶段将所有具有key为1的value的各个变量对应求和并除以总样本数n，得到样本各个变量的均值向量μ∈R^1×m；(2.3)在第二次MapReduce操作中，在Map阶段将在不同数据块中的每个样本的各个变量并行地减去均值向量，并将结果平方，再将平方后的值的key标注为1，从而可形成键值对<1,(S_normal(x_i)‑μ)²>，在Reduce阶段将所有具有key为1的键值对的value的各个变量对应求和并除以总样本数n，同时计算平方根，得到样本各个变量的标准差向量σ∈R^1×m；(2.4)在第三次MapReduce操作中，在Map阶段将在不同数据块中的每个样本的各个变量并行地减去均值向量，再除以标准差向量，再将计算后的值的key标注为1，从而可形成键值对<1,(S_normal(x_i)‑μ)/σ>，在Reduce阶段将所有具有key为1的键值对的value进行输出，输出结果即为标准化后的正常数据样本集S_std_normal；(2.5)利用正常数据样本集的均值和标准差求得(S_fault(x_i)‑μ)/σ，形成的标准化后的故障数据样本集为S_std_fault；(3)将标准化后的正常数据样本集S_std_normal改写为矩阵形式X_(n×m)，并利用MapReduce计算协方差矩阵值r_ij，具体过程为：(3.1)将矩阵X_(n×m)和矩阵X^T_(m×n)存储在分布式文件系统中，每个矩阵分布存储的块数为K。(3.2)在Map阶段，将矩阵X^T_(m×n)中的每个元素值b_ij的key值标记为[i,k](k＝1,…,m)，而value值,按如下顺序[矩阵标记mt:位置标记lt,元素值]标记为[b:j,b_ij]，所形成的键值对为<[i,k],[b:j,b_ij]>；(3.3)在相同的Map阶段，再将矩阵X_(n×m)中的每个元素值a_ij的key值标记为[k,j](k＝1,…,m)，而value值按如下顺序[矩阵标记mt:位置标记lt,元素值]标记为[a:i,a_ij]，所形成的键值对为<[k,j],[a:i,a_ij]>；(3.4)在Reduce阶段，Reducer将具有相同key值的元素值a_ij和b_ij聚集在一起，对于key值为[i,j]的所有键值对，将具有不同矩阵标记mt而具有相同位置标记lt的元素值相乘，再将不同位置标记lt的乘积结果相加即为协方差矩阵值r_ij即(4)计算协方差矩阵R_(m×m)的特征值和特征向量：(5)利用方差贡献率η选择主元个数k，其中η为0.85，并确定主元对应特征值构成的对角矩阵Λ(6)将特征值从大至小排序，并选择前k个特征值对应的特征向量组成投影矩阵P：(7)基于MapReduce框架计算每个样本的T²统计量，T²_i＝x_iPΛ^‑1P^Tx_i^T，具体过程为：(7.1)将矩阵X_(n×m)存储在分布式文件系统中，每个矩阵分布存储的块数为K；(7.2)在Map阶段将在不同数据块中的每个样本x_i并行地按照上式与投影矩阵P和对角矩阵Λ相乘，再将计算后的值的key标注为1，从而可形成键值对<1,x_iPΛ^‑1P^Tx_i^T>；(7.3)在Reduce阶段将所有具有key为1的键值对的value进行输出，输出结果即为所有样本对应的T²统计量。(8)基于MapReduce框架计算每个样本的重构值及SPE统计量，具体过程为：(8.1)将矩阵X_(n×m)存储在分布式文件系统中，每个矩阵分布存储的块数为K；(8.2)在Map阶段将在不同数据块中的每个样本的主元T_i并行地按照上式与投影矩阵P相乘，再将计算后的重构结果与原样本计算在各个变量上的残差平方和即为SPE统计量SPE_i，并将所计算出的残差平方和的key标注为1，形成键值对(8.3)在Reduce阶段将所有具有key为1的键值对的value进行输出，输出结果即为所有样本对应的SPE统计量；(9)计算T²和SPE统计量的控制限：所述计算T²控制限的公式为，其中n为样本个数，k为主元个数，F_k,n‑k,α为服从自由度为k和n‑k的F分布，α为置信度：所述计算SPE控制限的公式为：其中表示协方差矩阵的特征值，α表示显著性水平，c_α是正态分布在显著性水平为α下的临界值；(10)将故障数据样本集的统计量T²与控制限T²_i,lim比对，统计量SPE与控制限SPE_i,lim比对,只要有一个统计量超过控制限，即为故障；若两个统计量均没有超过控制限，即为正常样本。(11)将实时数据样本输入，重复步骤(2)‑(10)，直至完成对所有数据样本的监测。