[发明专利]一种进化的神经网络结构搜索方法

说明书

本发明提供一种进化的神经网络结构搜索方法，现有的卷积神经网络在物体检测、图像识别和分类等机器视觉领域具有广泛应用，但是存在的因庞大的网络结构和参数使得训练结果出现过拟合，会导致卷积神经网络收敛速度慢的问题，我们利用粒子群算法在搜索范围和收敛速度上的优势，能够兼顾搜索广度和收敛速度，我们用这种方法发现的结构能够有效解决上述问题，并建立可解释、鲁棒性的神经网络方法。

技术领域

本发明主要涉及网络结构搜索领域，具体涉及一种进化的神经网络结构搜索方法。

背景技术

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络”。

现有的卷积神经网络在物体检测、图像识别和分类等机器视觉领域具有广泛应用，但是存在的因庞大的网络结构和参数使得训练结果出现过拟合，会导致卷积神经网络收敛速度慢的问题。

发明内容

发明要解决的技术问题

本发明的提供了一种进化的神经网络结构搜索方法，用以解决上述背景技术中存在的因庞大的网络结构和参数使得训练结果出现过拟合，会导致卷积神经网络收敛速度慢的问题的技术问题。

技术方案

为达到上述目的，本发明提供的技术方案为：一种进化的神经网络结构搜索方法，包括以下步骤：

Step1：粒子群算法公式基本参数设置，包括粒子群算法的种群规模，最大迭代次数及粒子群算法其它参数等；

Step2：将神经网络结构参数作为粒子群算法算法粒子分量，初始化粒子；

Step3：以每个粒子作为CNN结构，随机初始化CNN权重，通过训练确定CNN，将CNN测试误差作为该粒子的适应度函数值，pbest和gbest位置；

Step4：若gbest的适应度函数值小于给定阈值或达到最大迭代次数，则停止迭代，否则将会利用多维空间算式更新粒子，返回Step3；

Step5：最终得到的gbest即为最佳CNN结构。

进一步的，所述Step1内的粒子群算法公式为：

在公式(1)、(2)中：

i表示群体中粒子编号；

v_i表示粒子的速度；

rand（）表示随机函数介于（0，1）；

x_i表示当前粒子所在的位置；

c₁和c₂表示学习因子，代表将每个粒子推向pbest和gbest位置统计加速项的权值，较低的值允许粒子在被拉回之前可以在目标区域外徘徊，较高的值导致粒子突然地冲向或越过目标区域，w表示惯性因子，其值为非负，结合w值调整粒子群算法，w值较大全局寻优能力强，w值较小局部寻优能力强，结合卷积神经网络在不同场景的应用情况来调整粒子群的惯性因子，能够有效的针对不同广度的搜索，调整出最优的全局和局部搜索能力，使得卷积神经网络能够应用于更多的场景，解决更多的实际问题。

进一步的，所述多维空间算式为：

其中，d表示所在空间的维度。

有益效果

采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：