[发明专利]基于SVAE-WGAN的过程工业软测量数据补充方法

权利要求书

1.一种工业领域中基于SVAE-WGAN的过程工业软测量数据补充方法，其特征在于包括下述步骤：

步骤1：根据工业背景确定模型的输入输出，并选择合适的训练数据集，模型需要输入工业中采集到的时序数据，并要求输入的数据为无标签样本，同时，输出数据同样要求输出无标签样本，令输入数据其中表示从训练集中采集m个样本大小的数据集{x⁽¹⁾，...，x^(m)}作为模型的训练样本，令输出数据其中表示输出n个样本大小的数据集；

步骤2：数据集预处理：首先对输入的训练数据集进行归一化处理，归一化方法使用最大最小归一化，将训练数据线性转换到[0，1]的范围，归一化公式为：其中X_max表示训练数据集中的最大值，X_min表示训练数据集的最小值；其次将训练数据集和测试集的分布情况进行对比，根据两个分布，观察训练数据的特征是否与测试数据的特征拟合，若分布差异不一致，则该特征上的值存在异常，故需要删除该特征，得到最终的训练数据集，之后转入步骤3；

步骤3：基于步骤2所得到训练数据集，构建堆叠变分自编码器；首先，根据步骤3.1构建变分自编码器，其次根据步骤3.2构建堆叠变分自编码器，之后转入步骤4；

构建堆叠变分自编码器的具体步骤如下：

步骤3.1：变分自编码器VAE由编码器和解码器两部分组成，首先编码器Encoder负责接收输入数据x，通过编码器计算编码器网络的输出分布得到隐变量z的均值μ和方差σ²，假定分布p(z)服从正态分布，隐变量z重采样自编码器的输出分布，重采样是一种解决连续可导的方法，引入ε变量，ε变量采样自标准正态分布由z＝μ+σ⊙∈方式采样获取隐变量z，从而保证了梯度传播是连续的，同时也使模型可采用梯度下降算法计算误差并优化参数；其次解码器Decoder负责接收隐变量z输出目标变量通过解码器寻找一个与x分布近似的分布，使得x与近似相等，编码器和解码器分别用和θ网络参数化为函数和p_θ(x|z)函数，令Decoder(z)＝p_θ(x|z)，其中Encoder(x)表示编码器，Decoder(z)表示解码器，VAE模型的核心思想即找到一个后验分布然后采用变分推断，不断优化目标函数并得到该模型的损失函数，公式为：

即：

其中，损失函数第一项是编码器的重构误差函数，logp_θ(x|z)表示解码器的似然概率，p(z)表示隐变量z符合的先验分布，D_KL表示输出分布与先验分布p(z)之间的KL散度；

步骤3.2：根据步骤3.1构建的变分自编码器，通过堆叠变分自编码器得到SVAE，将第一个变分自编码器的输出作为下一个变分自编码器的输入，从而得到深层次提取特征的深度生成网络模型SVAE，根据变分自编码器的目标函数，得到SVAE网络的目标函数之后转入步骤4；其中，SVAE的损失函数公式为：

式中，x表示输入的真实样本，i表示VAE模型的数量，z_i表示第i个VAE的编码器的隐变量，x_i表示第i个VAE生成的新样本，之后转入步骤4；

步骤4：基于步骤3所得到的生成模型SVAE，接下来将结合SVAE和WGAN构建SVAE-WGAN生成模型；

生成式对抗网络GAN包括生成网络和判别网络D(x)，生成网络G(z)与步骤3.1的VAE的Decoder原理类似，首先从先验分布p_z(z)中采样得到隐变量z，然后，通过生成网络G(z) ，它的数据集包括采样自真实样本分布p_z(z)中采样得到隐变量z，其次，通过生成网络参数化的p_g(x|z)分布得到生成分布p_g(x|z)，并获得生成样本

根据判别网络D(x)，它的关键是将预测值和真实值之间的交叉熵损失函数最小化，判别网络的损失函数可定义为：

其中，D_θ(x_r)表示真实样本x_r在判别器中的输出值，D_θ(x_g)表示生成样本x_g在判别器中的输出值，θ为判别网络的参数，对于生成网络G(z)，希望生成的数据x_g能够骗过判别网络，使生成的假样本在判别网络中的输出D(G(z))越接近1越好，即生成数据在判别网络中的输出与1之间的交叉熵损失函数最小化，则生成网络的损失函数可定义为：

GAN模型的损失函数是将生成网络G(z)的损失函数和判别网络D(x)的损失函数合并，描述成min-max博弈形式：

把上式中可以替换为x_g，那么可以将其损失函数简化为：

但是，GAN从理论上会出现梯度消失、模式坍塌、判断收敛性困难以及难以评价生成数据质量问题，在实际应用中GAN由于实际训练过程中神经网络参数空间是非凸的、交替优化的，导致博弈学习过程陷入局部纳什均衡，出现模式坍塌，以及模型训练应该何时停止，如何评估生成数据的质量，这些都缺乏理想的评价指标和方法；

为解决GAN出现的问题，研究者发现GAN训练不稳定是由JS的缺陷引起的，并引入了Wasserstein距离，也叫推土机距离Earth-Mover Distance，简称EM距离，采用EM距离可表示生成数据分布p_g与真实数据分布p_r之间的差异，由此WGAN网络成为GANs的另一个突破；但是根据已有的条件，无法获取p_g和p_r两个分布，采用基于Kantorovich-Rubinstein对偶性，在判别器满足1阶-Lipschitz约束条件下经过转化，WGAN的损失函数可定义为：

其中，I满足1-Lipschitz约束条件，强制采用权重裁剪方法来满足1-Lipschitz约束的连续性条件，使得权重截断到一定范围内；

结合模型结构，SVAE-WGAN由堆叠变分自编码器与生成式对抗网络结合，因此SVAE-WGAN的损失函数定义如下：

步骤5：SVAE-WGAN模型的训练和优化，根据步骤4构建的SVAE-WGAN模型，对模型进行训练和优化使得达到模型的最优状态；

首先，根据步骤5.1确定SVAE和WGAN深层网络的基本架构，其次根据步骤5.2和步骤5.3对基于SVAE-WGAN的过程工业软测量数据补充方法进行训练和验证；

基于SVAE-WGAN的过程工业软测量数据补充方法验证的具体步骤如下：

步骤5.1：确定SVAE-WGAN深层网络的基本架构，SVAE-WGAN模型采用全连接神经网络，其中SVAE编码器和解码器都是三层全连接神经网络，WGAN的判别网络采用四层的全连接神经网络；

步骤5.2：各个模型的训练均采用无监督方式进行，首先对于SVAE需要每个独立的变分自编码器VAE进行训练，通过最小化获得SVAE的最优值；其次，通过多次实验获得SVAE最优情况下VAE的堆叠个数；最后，训练和优化SVAE-WGAN模型：①优化判别器，固定生成器G，采用RMSprop优化算法，优化前需用G生成数据得到新数据，用于优化然后计算得到判别器的损失值；②优化生成器，固定判别器D，采用RMSprop优化算法，优化前需要用G生成数据得到新数据，用于优化公式然后计算得到生成器的损失值；③根据生成模型训练获得的新数据集，计算新数据的MAE、MSE和RMSE指标值经过对比实验得到最终的生成数据，计算生成数据的指标公式如下：

其中，y_i即为原始的训练数据集，即为生成的新的数据集，n为数据集的大小。

2.如权利要求书1所述基于SVAE-WGAN的过程工业软测量数据补充方法，其特征在于：通过引入该数据补充方法来补充火力发电厂锅炉蒸汽量软测量建模所需数据集。