[发明专利]一种基于随机森林特征提取的BP神经网络的数值预测方法

摘要

本发明涉及基于随机森林特征提取的BP神经网络的数值预测方法属于机器学习和数据挖掘领域，其特征在于采用如下步骤：(1)选择袋外数据X₁(x₁，x₂，...，x_n)，计算袋外数据误差error⁽¹⁾；(2)随机对袋外数据所有样本的特征T(t₁，t₂，...，t_m)加入噪声干扰，再次计算袋外数据误差error⁽²⁾；(3)计算所有特征T(t₁，t₂，...，t_m)的重要性I；(4)确定重要性较大的特征T(t₁，t₂，...，t_s)及其重要程度ω(ω₁，ω₂，...ω_s)；(5)训练BP神经网络，更新连接权值ω_i；(6)将测试集样本作为输入，进行特征选择然后将选择好的特征输入到BP神经网络中进行预测，得到预测结果。本发明所建立的基于随机森林特征提取的BP神经网络的数值预测方法，用随机森林提取样本集的特征并对其重要性程度进行了量化，实现数值预测。通过多组数据实验对比结果可知，该预测方法为数值预测，提供了在保证了预测精度的基础上增强模型的泛化能力的预测方法。

主权项

1.基于随机森林特征提取的BP神经网络的数值预测方法，其具体归类步骤如下：(1)选择袋外数据X₁(x₁，x₂，...，x_n)，计算袋外数据误差error⁽¹⁾：式中，g₂，g₃，...，g_i是没有抽到的袋外数据，N为样本总数；(2)随机对袋外数据所有样本的特征T(t₁，t₂，...，t_m)加入噪声干扰，再次计算袋外数据误差error⁽²⁾：式中，g₂，g₃，...，g_i是没有抽到的袋外数据特征中加入噪声的数据，N为样本总数；(3)计算所有特征T(t₁，t₂，...，t_m)的重要性I：式中，N为决策树的个数，m为特征个数，error⁽¹⁾为未加入噪声前袋外误差，error⁽²⁾为在特征中加入噪声后的袋外误差；(4)确定重要性较大的特征T(t₁，t₂，...，t_s)及其重要程度ω(ω₁，ω₂，...ω_s)：设定最后需要预留的特征个数s，重复上述三步，删除重要性较小的特征，得到最终的特征T(t₁，t₂，...，t_s)和特征对应的重要性程度ω(ω₁，ω₂，...ω_s)；(5)训练BP神经网络，更新连接权值ω_i：将上一步骤得到的特征重要性程度设为输入层神经元和第一个隐藏层神经元之间的连接权值ω(ω₁，ω₂，...ω_s)，然后根据误差反向传播算法，更新连接权值ω_i，具体公式如下：其中，为实际输出值，y_i为理想输出值，η为每次更新的步长；(6)将测试集样本作为输入，进行特征选择然后将选择好的特征输入到BP神经网络中进行预测，得到预测结果，完成基于随机森林特征提取的BP神经网络的数值预测方法。