[发明专利]一种基于贝叶斯高斯混合模型的即时学习软测量建模方法

摘要

本发明公开了一种基于贝叶斯高斯混合模型的即时学习软测量建模方法，属于复杂工业过程建模和软测量领域。本发明用于具有非线性、非高斯性的时变工业过程，通过一种在线实时更新局部的策略，采用贝叶斯信息准则确定最优的高斯成分个数，当新的测试数据到来时，计算其隶属于每个高斯成分的后验概率，并求出其与训练数据之间的马氏距离，将两者融合作为相似度指标；最后，从原始的训练样本中选取相似度最大的一组数据来建立当前的GPR模型，并进行模型输出预测，达到了提高产品质量，降低生产成本的效果。

主权项

1.一种基于贝叶斯高斯混合模型的即时学习软测量建模方法，其特征在于，所述方法包括：步骤1：收集输入、输出数据得到历史训练数据集；步骤2：X为已知训练样本，利用贝叶斯信息准则BIC确定最优的高斯成分个数K，BIC的描述如公式(1)：BIC＝‑2logp(X|Θ)+dlog(N)    (1)式(1)中logp(X|Θ)表示训练样本的对数似然函数，d表示K个高斯成分所具有的自由参数的个数，N表示训练样本的个数；步骤3：根据最优的高斯成分个数K后和给定高斯混合模型GMM的初始参数，利用式(5)、(6)、(7)不断迭代，直到前后两次参数的差值小于设定好的阈值，得到最终GMM的参数Θ，GMM的详细描述如下：包含N个训练样本的数据集X{xi∈Rm,i＝1,2…N}，m表示输入数据的维数，该数据集的概率密度函数表示为：其中，Θ＝[α₁,μ₁,Σ₁；α₂,μ₂,Σ₂；……；α_k,μ_k,Σ_k]是GMM的参数，K是高斯成分的个数，θ_k为第k个高斯成分的参数，θ_k＝(μ_k,Σ_k)，μ_k和Σ_k分别为第k个高斯成分的均值和协方差矩阵，α_k为第k个高斯成分所占的比例，且0<α_k<1，其中第k个高斯成分的概率密度函数为：通过期望最大化算法对GMM方法中的未知参数进行求解，具体求解过程分为E步和M步，其描述如下：E步：根据当前第l次更新的参数和通过贝叶斯公式计算第i个训练样本属于第k个高斯成分的概率其中C_k表示第k个高斯成分M步：更新算法参数步骤4：当来到一个新的输入数据xq，采用即时学习JITL算法从历史数据集中选择与之最相似的一组数据建立局部的高斯过程回归GPR模型，JITL算法和GPR建模方法的详细描述分别如下：JITL算法：JITL方法是根据相似输入产生相似输出的思想，从训练样本中选择与当前到来的测试样本最相似的一组训练样本来建模，JITL的核心是相似度准则的选取，基于欧式距离和角度的相似度准则是一种常用的方法，即：其中，距离d表示当前到来的测试样本与训练样本之间的2范数，θ表示这两个样本之间的夹角，γ为一系数，取值在0到1之间；然而，对于一些非高斯工业过程，GMM可以较好地对过程的非高斯性进行描述，相比于传统的相似度准则，基于贝叶斯高斯混合模型BGMM的相似度准则可以更好地选择相似样本来建立GPR模型，由步骤2和3分别得到的最优的高斯成分个数K和各个成分的参数Θ，对应的相似度准则可以表示为：其中x_q表示新到来的样本，x_i表示第i个训练样本，p(C_k|x_q)表示新到来的样本x_q属于第k个高斯成分的后验概率，为两样本之间的马氏距离，针对当前到来的x_q，利用上述相似度准则，选择与x_q最相似的一组数据建立当前的GPR模型GPR建模方法：已知训练样本集X{xi∈Rm,i＝1,2…N}和Y{yi∈R,i＝1,2…N}分别代表m维输入数据和1维输出数据，输入和输出之间的关系可以表示为：yi＝f(xi)+ε    (10)其中f表示一种未知的函数形式，ε表示均值为0，方差为的白噪声对于新的测试样本xq，则它的输出预测值yq也满足高斯分布，其均值和方差分别表示为：yq(xq)＝cT(xq)C‑1Y    (11)其中，c(x_q)＝[c(x_q,x₁),…,c(x_q,x_N)]^T是测试输入数据与训练输入数据的协方差矩阵，为训练输入数据之间的协方差矩阵，c(x_q,x_q)表示测试输入数据与本身的协方差值；GPR选择径向基协方差函数，其函数描述如下：其中，v表示先验知识的总体度量，ωt表示每维数据相对应的权重，δij为Kronecher算子，表示各辅助变量的相对重要程度；采用极大似然估计得到式(13)中的参数其对数似然函数为：使用训练集和验证集将参数θ试凑出来，然后用共轭梯度法得到优化的参数，参数确定后，对于新的测试数据，可由式(11)得到软测量模型输出；步骤5：将新到来的样本点xq带入步骤4建立好的局部GPR模型，得到最终的估计值yq。