[发明专利]前馈网络的自适应动态协同粒子群优化方法

说明书

技术领域

本发明属于模式分类领域。本文设计出一种动态自适应的协同粒子群算法优化前馈网络，在人脸识别、笑脸识别、性别识别等领域有很广泛的应用。

背景技术

神经网络以其自学习、自组织、容错特性以及模拟非线性关系的能力使其特别适合解决模式分类问题。Hornik证明三层前馈神经网络能够以任意精度模拟复杂的非线性关系[参考文献1]。神经网络上述性能的实现，依赖于在一个良好目标函数的指引下，对神经网络结构和权值的充分训练，从而实现在有限的学习样本集中获得整个种群的规律[参考文献2]。神经网络结构，目标函数和学习算法对网络性能具有决定性作用。

为了提高神经网络的学习能力，研究者先后采用BP算法[参考文献3]，遗传算法[参考文献4]和粒子群算法[参考文献5]优化前馈网络参数。但在实际应用中，算法往往易于陷入局部极值或学习效率不高等问题，导致神经网络的泛化能力不足。1992年，Moody通过证明，对于已经达到一定训练精度的神经网络，其网络的有效参数越少网络的性能越优[参考文献6]。从而为了更好的提高网络的泛化能力，研究者在网络结构中加入连接权的开关系数，同时优化网络的连接权值和开关系数，精简网络有效参数，从而进一步提高网络的泛化性能[参考文献7,8]。同时，神经网络结构复杂性对网络的性能有很大的影响[参考文献2]：规模过小神经网络，处理固有复杂问题的能力不足[参考文献9]；规模过大神经网络，虽然具有较好的学习精度[参考文献10]，但容易陷入“过拟合”[参考文献9]，而且需要较大的存储空间和计算时间[参考文献10]。对于三层前馈网络结构优化算法比较著名是隐层神经元增长型[参考文献11]、删减型[参考文献12]和遗传算法[参考文献13]。对于增长型或者删减型的神经网络结构优化算法，受初始化网络结构的影响较大，而且网络结构均朝一个方向进行寻优，容易错失最佳网络结构。同时，对于遗传算法，当其寻优到最优解附近时，收敛速度缓慢，容易陷入局部极值[参考文献14]，而且遗传算法的运行时间和计算复杂度是随问题规模呈指数增长的[参考文献15]。同遗传算法相比，粒子群算法增加了记忆功能，算法实现更简单，寻优性能更稳定，粒子群算法越来越多的应用在传统遗传算法求解问题中。文献[参考文献16]成功实现了在基本粒子群算法优化网络权值的同时，采用离散二进制粒子群算法优化网络结构。但离散二进制粒子群算法是一种间接的优化策略，没有能充分应用粒子群算法的寻优性能[参考文献17]。

同时上述算法均以训练样本均方误差作为网络的目标函数，本身就意味着：只要拟合曲线经过训练样本就可以了，导致算法有无穷多个相等的全局最小点(值为0)，但符合网络拟合曲线只有一条[参考文献18]。算法采用这种目标函数，容易陷入局部极值，从而导致网络泛化能力不足。

有鉴于此，如今迫切需要设计一种新的优化算法，以克服现有方法的上述缺陷。

发明内容

本发明所要解决的技术问题是：提供一种前馈网络的自适应动态协同粒子群优化方法，可提高网络学习能力和识别能力。

为解决上述技术问题，本发明采用如下技术方案：

一种前馈网络的自适应动态协同粒子群优化方法，其特征在于，所述方法包括如下步骤：

步骤S1、对粒子进行初始化，并由目标函数，初始化子种群；

步骤S2、记录粒子个体极值p_i，每个子种群极值p_n，全局极值p_g；

步骤S3、以每个子种群p_n优劣给子种群排序，并确定子种群的协同粒子个数；

步骤S4、子种群中的粒子向其自身极值p_i和子种群极值p_n学习；

步骤S5、随机从其它子种群中选取协同粒子，协同粒子向其自身极值p_i和子种群极值p_n学习，并根据粒子优劣随时更新协同学习粒子的自身极值和其所在子种群的社会极值；同时每一代，粒子更新之后，重新确定每个种群的社会极值，再根据子种群中社会极值的优劣，对其重新排列，之后根据P_n的优劣把一部分子种群设为较优子种群，另一部分设为较差子种群；

步骤S6、根据步骤S4、步骤S5依次更新粒子信息之后，随机从较差子种群并且其子种群规模大于二的子种群中选取少于两个粒子，使其成为现在较优子种群中的一员；

步骤S7、满足所有停止条件，停止计算，否则转入步骤S2进行下一次迭代。