[发明专利]一种基于萤火虫群优化算法的深度置信网络调优方法

权利要求书

1.一种基于萤火虫群优化算法的深度置信网络调优方法，其特征在于，将萤火虫群优化算法(GSO)运用到深度置信网络(DBN)中进行参数优化，所述步骤如下：

S1、建立具有三个RBM的DBN网络结构，并且设置好目标误差函数，迭代次数；

S2、对萤火虫群的规模、维度、步长以及迭代次数进行设置；

S3、根据以下公式更新荧光素值；

y_t＝(1-ρ)y_(t-1)+γf(x_m(t)) 公式(1)

S4、每个萤火虫个体按照感知半径搜索邻居个体，依据公式(2)概率选择最佳邻居，根据公式(3)更新位置，根据公式(4)更新感知半径；

在个体m有多邻居的情况下，选择个体n的概率

感知半径的更新表达式如下：

r_m(t)＝min{r_z,max[0,r_m(t-1)+β(n_t-1-|N_m(t-1)|)]} 公式(4)

S5、根据目标函数的倒数计算每个个体的适应度值；

S6、重复步骤S3至步骤S6，直到达到迭代次数；

S7、将各参数初始化到第一个RBM，进行对比散度算法学习；

S8、重复步骤S1至步骤S6，将各参数初始化到第二个RBM，进行对比散度算法学习训练，重复步骤S8，将各参数初始化到三个RBM；

S9、对整个网络进行BP(Back Propagation)反向微调，直到达到目标误差或迭代次数，完成网络的训练，保存网络。

2.根据权利要求1所述的一种基于萤火虫群优化算法的深度置信网络调优方法，其特征在于，所述步骤S2中，其具体方法为：输入向量共i维，输出向量t维，第一个RBM包含了a₁～a_j一共j个神经元阈值，以及i×j个权值参数，因此萤火虫群中每个萤火虫所在的空间维度是u＝j×(i+1)，空间向量表示为X_u＝(U₁₁,U₁₂,...U_ij，a₁,a₂,...a_j)，所得最优萤火虫的前i×j个数即为第一个RBM网络的初始权值，后j个数即为第一个RBM网络的初始阈值，第二个RBM包含b₁～b_k共k个神经元阈值，以及j×k各权值参数，因此萤火虫群中每个萤火虫所在的空间维度是v＝k×(j+1)，空间向量表示为X_v＝(V₁₁,V₁₂,...V_jk,b₁,b₂,...b_k)，所得最优萤火虫的前j×k个数即为第二个RBM网络的初始权值，后k个数即为第二个RBM网络的初始阈值，第三个RBM包含了c₁～c_s一共s个神经元阈值，以及k×s个权值参数，因此萤火虫群每个萤火虫所在的空间维度是p＝s×(k+1)，空间向量表示为X_p＝(W₁₁,W₁₂,...W_ks,c₁,c₂,...c_s)，所得最优萤火虫的前k×s个数即为第三个RBM网络的初始权值，后s个数即为第三个RBM网络的初始阈值，通过GSO来优化DBN网络就是将每个萤火虫定位到需要优化的参数上，因此针对该DBN网络需要优化的参数包括权值U_ij、V_jk、W_ks、和阈值a_j、b_k、c_s。