[发明专利]一种基于随机森林特征提取的BP神经网络的数值预测方法

权利要求书

1.基于随机森林特征提取的BP神经网络的数值预测方法，其具体归类步骤如下：

(1)选择袋外数据X₁(x₁，x₂，...，x_n)，计算袋外数据误差error⁽¹⁾：

式中，g₂，g₃，...，g_i是没有抽到的袋外数据，N为样本总数；

(2)随机对袋外数据所有样本的特征T(t₁，t₂，...，t_m)加入噪声干扰，再次计算袋外数据误差error⁽²⁾：

式中，g₂，g₃，...，g_i是没有抽到的袋外数据特征中加入噪声的数据，N为样本总数；

(3)计算所有特征T(t₁，t₂，...，t_m)的重要性I：

式中，N为决策树的个数，m为特征个数，error⁽¹⁾为未加入噪声前袋外误差，error⁽²⁾为在特征中加入噪声后的袋外误差；

(4)确定重要性较大的特征T(t₁，t₂，...，t_s)及其重要程度ω(ω₁，ω₂，...ω_s)：

设定最后需要预留的特征个数s，重复上述三步，删除重要性较小的特征，得到最终的特征T(t₁，t₂，...，t_s)和特征对应的重要性程度ω(ω₁，ω₂，...ω_s)；

(5)训练BP神经网络，更新连接权值ω_i：

将上一步骤得到的特征重要性程度设为输入层神经元和第一个隐藏层神经元之间的连接权值ω(ω₁，ω₂，...ω_s)，然后根据误差反向传播算法，更新连接权值ω_i，具体公式如下：

其中，为实际输出值，y_i为理想输出值，η为每次更新的步长；

(6)将测试集样本作为输入，进行特征选择然后将选择好的特征输入到BP神经网络中进行预测，得到预测结果，完成基于随机森林特征提取的BP神经网络的数值预测方法。