[发明专利]基于协同进化和反向传播的深度神经网络优化方法

摘要

本发明提出了一种基于协同进化和反向传播的深度神经网络优化方法，它属于深度学习与进化计算相结合的技术领域，主要解决的是深度神经网络在训练的时候容易陷入局部最优解的问题。其主要步骤是(1)首先对网络使用反向传播算法进行优化；(2)当满足停止条件，使用协同进化算法进行优化；(3)不断重复上述两步，直到满足迭代停止条件；(4)最终优化得到的权重和偏差为最优参数。本发明将进化算法的优点应用到深度神经网络的训练中，针对大规模的参数，使用协同进化进行优化，同时结合反向传播算法，并且设计一种选择策略，来提高协同进化的优化速度，使得整个网络能够更高效的被训练完成，优化性能好，提高了网络的分类正确率。

主权项

基于协同进化和反向传播的深度神经网络优化方法，其特征在于，包括如下步骤：步骤101：开始基于协同进化和反向传播的深度神经网络优化方法；步骤102：设定一个深度神经网络结构，用Li表示网络的第i层，Ni表示第i层的节点个数，初始化权重W和偏差b，设置学习率η，自定义参数H；步骤103：向步骤102的深度神经网络输入训练样本，然后使用反向传播算法对深度神经网络进行训练，直到深度神经网络连续两次的迭代误差变化值σ在范围[0,H]内，停止反向传播算法；步骤104：采用协同进化算法对步骤103中采用反向传播算法训练的权重和偏差进行优化；步骤105：采用协同进化算法优化完权重和偏差之后，继续使用反向传播算法进行优化，直到深度神经网络连续两次的迭代误差变化值σ在范围[0,H]内，停止反向传播算法，再次使用协同进化算法进行优化，不停的进行迭代，最后直到迭代次数为50次，迭代终止；步骤106：得到深度神经网络的优化参数，即权重和偏差。