[发明专利]一种基于Stacking集成策略的沙尘暴等级预测方法

权利要求书

1.一种基于Stacking集成策略的沙尘暴等级预测方法，其特征在于，包括：

步骤1，以循环神经网络R和卷积神经网络C作为一级分类器，将原始天气样本数据分别输入循环神经网络R和卷积神经网络C，得到对应的一级学习特征；

步骤2，利用Stacking集成策略，引入一个元分类器Q作为二级分类器，将所述一级学习特征组合并作为二级分类器的输入；

步骤3，以二级分类器的输出作为最终预测的沙尘暴等级量；

其中，步骤1中，所述原始天气样本数据通过如下方式获取：

将“中国地面气候资料日值数据集”和“中国强沙尘暴序列及其支撑数据集”根据日期整合为一个整体数据集；

将所述整体数据集进行数据清洗，属性规约数据预处理；

将预处理的数据进行时序排列，属性从左到右展开，时序从上到下排列，并为每一个数据打上沙尘暴等级标签，最终得到原始天气样本数据；

步骤2和步骤3中，将m个原始天气样本数据随机切分为k个样本集合，从中枚举每一个样本集合，i≤k，将剩余的样本集合作为训练集，分别对两个一级分类器进行训练，训练好的一级分类器基模型表示为和，将其对应的样本集合进行沙尘暴等级预测，每个基模型对第i个训练样本集合的预测值将作为新样本集中第i个样本的一个特征值，并将所有的特征值组合成新的特征样本，最后利用该特征样本作为训练集进行二级分类器的训练；对于预测过程，先由所有一级分类器预测形成特征样本集，最后再对特征样本集进行预测，从而得到更好的预测效果；

所述一级分类器和二级分类器的前馈神经网络通过以下公式进行信息传播：

其中，表示层神经元的输出，表示层神经元的激活函数，表示 层到层的权重矩阵，表示层到层的偏置；

所述一级分类器和二级分类器的分类层采用Softmax作为输出函数，Softmax函数公式如下:

其中，j=1,…,K，这里的K代表分类类别数，为向量，即为由分类层上一层生成的，需要输入Softmax函数的向量数据；

样本向量x属于第j个分类的概率为：

代表的转置，代表权重，k为求和公式中的参数，数值为1至K；循环神经网络R的循环单元激活函数采用tanh，各分类器的分类层采用Softmax激活函数，各分类器其余部分的激活函数默认采用参数化修正线性单元，公式为：

其中，x为输入的数据；为可调常数，是通过神经网络学习得到的，如果学习得到的=0，则参数化修正线性单元退化为修正线性单元；如果是一个很小的固定值，则参数化修正线性单元退化为带泄露修正线性单元；

所述一级分类器和二级分类器采用交叉熵作为其代价函数，用于模型的整体训练，交叉熵描述为：

其中P和Q是两个给定的概率分布，即预测标签和真实标签的概率分布；由于沙尘暴标签为离散分布，等价于， 用于描述样本的真实分布，用于表示预测的分布；

所述一级分类器和二级元分类器的神经网络中样本是独立分布的，交叉熵采用了最大似然原理，即

其中是第i个样本输入数据上的输出，即预测标签向量，n是每一训练批次中样本的数目，n是m的子集，每一批次训练n都是m中的一部分，是第i个样本的沙尘暴标签向量，是第i个样本的输入数据，代表最大似然估计中的分布参数，即使用样本输入数据，根据样本标签分布估计出来的参数值，代表每一份样本的最大似然估计，将其累加即为整体的最大似然，代表需要估计的样本标签分布的标准差；

使用准确率、精度、召回率、F1 Score指标作为一级分类器和二级分类器模型的综合性能度量，其中F1 Score为精确率和召回率的调和平均数；

所述循环神经网络R为多层的深度RNN，采用门控递归单元解决传统RNN所存在的长期依赖问题，并同样通过1*1卷积层代替全连接层，进行模型的稳定和特征整合，门控递归单元中的激活函数使用tanh，模型除分类层的其他层激活函数默认使用参数化修正线性单元，并使用批归一化和L2正则化方法减少其过拟合，增加泛化性；

所述卷积神经网络C为多层的深度CNN，通过卷积核获取局部特征信息，通过池化层进行下采样，下采样的作用为特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性；通过1*1卷积层代替全连接层，进行模型的稳定和特征整合，并使用批归一化和L2正则化方法减少其过拟合，增加泛化性；

所述元分类器Q为一个多层的全连接神经网络，使用Dropout和L2正则化方法减少过拟合，采用1*1卷积层代替全连接层，进行模型的稳定和特征整合，即元分类器Q本质为卷积核大小为1*1的，多层卷积堆叠的卷积神经网络；

所述采用1*1卷积层代替全连接层，用以实现跨通道的交互和信息整合，并进行卷积核通道数的降维和升维，每个样本的存储形式与灰度图片相同，即每个样本有一个featuremap；

所述L2正则化方法是在原来的损失函数基础上加上权重参数的平方和，L2正则化之后的损失函数表示为：

其中，w为分类器网络模型参数，是未包含正则化项的训练样本误差，λ是正则化参数；

根据上述公式，L(w)的梯度表示为：

。