[发明专利]一种基于萤火虫群优化算法的深度置信网络调优方法

说明书

本发明公开了一种基于萤火虫群优化算法的深度置信网络调优方法，属于计算机技术领域，将萤火虫群优化算法(GSO)运用到深度置信网络(DBN)中进行参数优化，所述步骤如下：S1、建立具有三个RBM的DBN网络结构；S2、对萤火虫群的规模、维度、步长以及迭代次数进行设置；S3、根据以下公式更新荧光素值；S4、每个萤火虫个体按照感知半径搜索邻居个体；S5、根据目标函数的倒数计算每个个体的适应度值；S6、重复步骤S3至步骤S6，直到达到迭代次数；S7、将各参数初始化到第一个RBM，进行对比散度算法学习；S8、重复步骤S1至步骤S6；S9、对整个网络进行BP反向微调，提高整个网络的鲁棒性和适应性，提高分类准确率。

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种基于萤火虫群优化 算法的深度置信网络调优方法。

背景技术

深度置信网络(DBN)是深度神经网络的一种，既可以用于非监督学习， 类似于一个自编码机；也可以用于监督学习，作为分类器来使用，萤火虫群 优化算法(GSO)具有较好的全局搜索能力、较高的收敛效率、较好的收敛效 果以及解决参数陷入局部最优的能力。

请参阅图1，图1为具有三个RBM层的DBN结构，然而在实际应用中，DBN 模型的每一层RBM虽然依靠逐层确定参数来训练网络，但是初始权值是随机 确定的，在训练过程中容易陷入局部最优，使得深度置信网络对非线性数据 训练得到的误差曲面比较复杂，尽管有BP网络反向微调，仍然使得网络的权 值和阈值不能达到最优，从而对整个网络训练效果产生一定的影响，因此DBN 预测的最高准确率不够高，不能满足一些精确度要求较高的领域。

发明内容

1.要解决的技术问题

针对现有技术中存在的问题，本发明的目的在于提供一种基于萤火虫群 优化算法的深度置信网络调优方法，它采用萤火虫群优化算法对DBN网络各 层受限玻尔兹曼机(RBM)的初始参数进行全局优化，提出GSO-DBN网络模型， 在此基础上，结合对比散度算法对DBN网络进行训练，利用BP进行反向整体 网络模型调优，从而提高整个网络的鲁棒性和适应性，提高分类准确率。

2.技术方案

为解决上述问题，本发明采用如下的技术方案：

一种基于萤火虫群优化算法的深度置信网络调优方法，将萤火虫群优化 算法(GSO)运用到深度置信网络(DBN)中进行参数优化，所述步骤如下：

S1、建立具有三个RBM的DBN网络结构，并且设置好目标误差函数，迭 代次数；

S2、对萤火虫群的规模、维度、步长以及迭代次数进行设置；

S3、根据以下公式更新荧光素值；

y_t＝(1-ρ)y_(t-1)+γf(x_m(t)) 公式(1)

S4、每个萤火虫个体按照感知半径搜索邻居个体，依据公式(2)概率选 择最佳邻居，根据公式(3)更新位置，根据公式(4)更新感知半径；

在个体m有多邻居的情况下，选择个体n的概率

感知半径的更新表达式如下：

r_m(t)＝min{r_z,max[0,r_m(t-1)+β(n_t-1-|N_m(t-1)|)]} 公式(4)

S5、根据目标函数的倒数计算每个个体的适应度值；

S6、重复步骤S3至步骤S6，直到达到迭代次数；