[发明专利]一种基于演化算法的深度神经网络训练与优化算法

说明书

本发明公开了一种基于演化算法的深度神经网络训练与优化算法。步骤包括：步骤1，训练样本准备，即准备神经网络训练所需的样本数据；步骤2，神经网络结构编码，通过设定初始网络结构和网络结构复杂度变化的范围，通过迭代将待搜索的所有可能的网络结构和参数写入网络结构编码表；步骤3，利用超粒子群算法对网络结构编码表中的项利用同时改变种群中超粒子的位置和空间，来搜索最优的神经网络结构编码。实验证明最优编码代表的神经网络结构和参数比人工通过经验设计和训练的神经网络结构和参数在CT图像肺间质性疾病分类问题上有更好的精确度。

技术领域

本发明属于深度神经网络和演化算法研究领域，其中神经网络部分涉及深度神经网 络的设计，超参数调优，训练与演化。演化算法部分设计粒子群寻优算法。

背景技术

深度神经网络

深度神经网络(Deep Neural Networks)[1]随着近年来研究的深入，解决了很多实际 应用中的模式识别问题。原因是理论上神经网络可通过设计适合的网络结构来近似任意实数 域的映射关系[2]，而模式识别问题本质上都可描述为数据间的映射关系。解决复杂模式识 别问题需要复杂的网络结构和在大量有效的训练样本上对网络进行充分的训练。现行的深度 神经网络的设计和参数优化方法(图1)需要设计人员具备大量的先验知识和实际经验，经 常需要通过不断的假设和实验迭代的方式来找出适合给定问题的网络结构。所以，复杂网络 结构的设计需要花费研究人员大量时间的进行实验与调整，以及足够的经验积累。其次，训 练结构复杂的深度神经网络现行常采用的基于随机梯度下降(Stochastic Gradient Descent)[14]的反向传播算法(Back Propagation)，由于其本身的理论缺陷常受制于梯度消 失(Vanishing Gradient)[7]和梯度爆炸(ExplodedGradient)[8]问题，网络的训练结果 往往随着深度的提高达不到实际使用需要。

演化算法

演化算法(Evolutionary Algorithms)[4]的产生的灵感借鉴了大自然中生物的进化 操作，常常可用作寻找某一特定问题的最优解即寻优。演化算法中的粒子群算法(Particle Swarm Optimization)[5]本质上是一种基于种群理论的寻优算法，设计思路模拟鸟群的觅食 行为，种群个体通过自身移动寻找目标并在移动过程中传递自身与目标距离给个体其他成员。 粒子群算法的符号定义如下：

粒子群寻优算法利用迭代使每个粒子有规律的搜索空间中移动来寻找对应给定问题 最好的空间位置。对于优化目标函数min f(x),x∈R^N，寻优开始前需要给定S，N,V_min,V_max，f(x)，最大迭代次数T和停止条件，寻优算法如下：

gbest(t)＝min(y₁(t),y₂(t),...,y_S(t)) (3)

惰性因子w在实际使用中一般初始为0。并9随着迭代的进行逐步降低至0.1，越接近目标，搜索越慢越精细。文献[6]指出粒子群算法比其他常用的演化算法(例如遗传算法)具有更好的收敛效率。

发明内容