[发明专利]一种基于鸽群优化算法的多层感知器训练方法

说明书

本发明公开了一种基于鸽群优化算法的多层感知器训练方法，首先初始化鸽群算法的基本参数，随机初始化个体的位置和范围；然后在指南针算子阶段根据具体的公式更新鸽子的位子和速度，旨在扩大多层感知器的参数寻优范围；接下来在地表算子阶段利用具体的公式加快收敛速度和深入挖掘局部最优；在每次迭代中，用于评价个体的适应度值的函数是个体所携带的参数对应的多层感知器的均方误差；本发明与传统的BP算法在训练多层感知器的过程中，能够克服BP算法训练多层感知器易陷入局部最优解和寻优过程慢的特性，能够尽可能的挖掘出最优性能的多层感知器参数，提升了多层感知器的性能。

技术领域

本发明属于神经计算和智能优化技术领域，涉及一种多层感知器训练方法，具体涉及一种基于鸽群优化算法的多层感知器训练方法，可用于神经计算和智能优化算法领域。

背景技术

多层感知器在图像、语音、文本等多个领域都有广泛的应用，而多层感知器的主要训练方法是反向传播算法(BP算法)。研究表明，通过对多层感知器的连接权值和阈值进行调整，可以用来拟合复杂的函数，或者用来解决分类问题。要获得极高的拟合精度或者分类准确率，必须对多层感知器的参数进行调整。常用的训练方法是基于链式求导法则的BP算法，但是容易受到局部极小值和梯度弥散的困扰。因此研究学者将进化优化算法，如粒子群优化算法、遗传算法，应用到多层感知器的训练中，但是由于神经网络本身的参数复杂性，这些技术的效果并不是很理想。

通过模拟鸽群的归巢行为，段海滨教授提出鸽群优化算法，并将其用来解决无人机导航中的参数寻优问题。鸽群算法相较于粒子群算法、遗传算法具有参数较少，收敛速度较快，可以避免局部最优解等特点，并且已经获得了广泛的应用。该算法的显著特点是通过调整算法的迭代次数和个体选择方式在全局搜索能力和局部搜索能力之间调和。

发明内容

为了解决上述技术问题，加快多层感知器的训练速度，提升网络的性能，本发明提出了一种基于鸽群优化算法的多层感知器训练方法。

本发明所采用的技术方案是：一种基于鸽群优化算法的多层感知器训练方法，所述多层感知器是一种前向结构的人工神经网络，将一组输入映射为一组输出，多层感神经元相互连接；从输入到输出具体的映射关系为：

其中，表示多层感知器的第k组输入数据，y^k表示为多层感知器的第k组输出数据，w_ij表示为输入层到隐含层的连接权值，β_i表示为隐含层神经元阈值，v_i表示为隐含层到输出层的连接权值，n表示为连接到当前神经元的上一层神经元的个数，h表示为连接到输出神经元的前一层神经元个数；

tanh表示为多层感知器神经元的激活函数，具体公式如下：

其特征在于，所述方法包括以下步骤：

步骤1：初始化鸽群规模N、指南针算子迭代次数T₁和地表算子迭代次数T₂，个体向量维度D、个体位置X_i＝[X_i1,X_i2,...,X_iD]、个体速度V_i＝[V_i1,V_i2,...,V_iD]、指南针因子R、个体的搜索空间Search range；随机设置个体位置和个体速度，计算种群的适应度值；个体向量维度D表示为待求解的个数，即待求解的多层感知器的参数个数。

步骤2：在指南针算子迭代阶段，更新鸽子的位置和速度；其中，更新鸽子的位置即表示为对多层感知的参数进行更新；

步骤3：计算个体的适应度值，并更新全局最优和个体历史最优；

步骤4：判断是否达到指南针算子迭代次数；