[发明专利]基于分布并行局部建模机制的岭回归软测量建模方法

摘要

本发明公开了一种基于分布并行局部建模机制的岭回归软测量建模方法，属于工业过程预测与控制领域。该岭回归软测量建模方法是通过建立训练样本集和测试样本集，基于MapReduce框架将训练样本集和测试样本集进行分布式标准化，基于MapReduce框架选取局部训练样本集，建立岭回归模型，并对测试样本预测，重复分布式标准化和对测试样本预测，直至完成所有样本的预测。该岭回归软测量建模方法能够有效地提升基于局部建模机制的岭回归模型的软测量建模速度，解决工业过程中大规模数据下局部建模的不足的问题。

主权项

1.一种基于分布并行局部建模机制的岭回归软测量建模方法，其特征在于，所述岭回归软测量建模方法包括以下步骤：(1)建立训练样本集，训练样本集中共有n个样本，每个样本具有m个易于测量的过程变量，以及一个需要被估计的质量变量；训练样本集表示为：S_train(x，y)＝{(x_i,y_i)|i＝1,2…,n}，其中x_i为自变量，共有m个列，x_i∈R^1×m，y_i为因变量，共有1个列，y_i∈R¹，R代表维度；并用S_train(x)表示样本中的过程变量，S_train(y)表示样本中的质量变量，其余样本集合表示方法相同；模型的测试样本集与训练样本集具有相同的形式，表示为S_test(x,y)＝{(x_i,y_i)|i＝1,2,…,n_t}，n_t为测试样本集中的样本个数。(2)基于MapReduce框架将步骤(1)中的所得到的训练样本集和测试样本集中的x_i部分进行分布式标准化：(2.1)将训练样本集S_train(x)存储在分布式文件系统中，分布存储的块数为K。(2.2)在第一次MapReduce操作中，在Map阶段将在不同数据块中的每个样本并行地转换为key为1的键值对<1,S_train(x_i)>，在Reduce阶段将所有具有key为1的value的各个变量对应求和并除以总样本数n，即可得到样本各个变量的均值向量μ∈R^1×m；(2.3)在第二次MapReduce操作中，在Map阶段将在不同数据块中的每个样本的各个变量并行地减去均值向量，并将结果进行平方，再将平方后的值的key标注为1，从而可形成键值对<1,(S_train(x_i)‑μ)²>，在Reduce阶段将所有具有key为1的键值对的value的各个变量对应求和并除以总样本数n，同时计算平方根，即可得到样本各个变量的标准差向量σ∈R^1×m；(2.4)在第三次MapReduce操作中，在Map阶段将在不同数据块中的每个样本的各个变量并行地减去均值向量，再除以标准差向量，再将计算后的值的key标注为1，从而可形成键值对<1,(S_train(x_i)‑μ)/σ>，在Reduce阶段将所有具有key为1的键值对的value进行输出，输出结果即为标准化后的训练样本S_std_train(x_i)；(2.5)测试样本的标准化只需通过下式利用训练样本的均值向量和标准差向量即求得(S_test(x_j)‑μ)/σ，所形成的标准化后的测试样本集为S_std_test(x_j)；(3)基于MapReduce框架分布并行地为每个测试样本选取局部训练样本集：(3.1)将标准化后的训练样本集S_std_train(x_i)分布地存储在分布式文件系统中，并自然形成K个数据块；(3.2)在MapReduce中的Map阶段对K个数据块中的样本进行无放回的采样，并形成新的K个数据块；(3.3)导入某个测试样本S_std_test(x_j),(j＝1，2，…,n_t)，并行地计算每个数据块中训练样本与该测试样本的欧式距离d_ij，计算公式如下，其中n_k为第k个数据块中训练样本数量:d_ij＝||S_std_test(x_j)‑S_std_train(x_i)||,(i＝1，2，…,n_k)   (1)(3.4)再在该Map阶段下对欧式距离d_ij进行升序排序，排序后的距离可写为dsort_ij,(i＝1,2,…,n_k)；(3.5)确定每个测试样本用于局部建模的训练样本数为M(M<n_k)，在Map中将K个数据块中的dsort_ij,(i＝1,2,…,n_k)按照原先的顺序均等地划分为M份(最后一份的样本数为n_k％M)，并为每个样本确定一个份数号p(p＝1，2，…,M)，并将每个样本的key值确定为它隶属的份数号，所形成的键值对为<p,dsort_ij∈p>。(3.6)在Reduce阶段中将具有相同key值的键值对合并在一个数据块中，共可以形成p块，而p等于1的数据块所对应的dsort_ij值最小，也就是用于对该测试样本局部建模的训练样本集S_std_train(p)_local。(4)基于步骤(3)中测试样本S_std_test(x_j)所选择的局部训练样本集S_std_train(p)_local建立岭回归模型，并对该测试样本进行预测，所得预测值为yp_j(j＝1,2,…,n_t)(5)将实时训练样本集输入，重复步骤(3)和步骤(4)，直至对所有测试样本均完成预测。