[发明专利]一种基于混洗蛙跳算法的卷积神经网络框架自动设计方法

说明书

一种基于混洗蛙跳算法自动设计卷积神经网络框架方法：将卷积神经网络框架设计问题建模为一个有约束的组合优化问题，设计满足目标参数量要求的网络框架。提出了一种离散变长编码方法，将卷积层的输出、全连接层的层数和每层神经元的个数等超参数进行编码来表示卷积神经网络框架，然后采用混洗蛙跳算法以MNIST数据集上的分类精度为适应度评估值对最优网络框架进行搜索，得到最优的卷积神经网络框架。本发明提出的基于混洗蛙跳自动设计卷积神经网络框架的方法具有全自动、效率高等特点，对于经验不足的科研初学者也是非常友好的。

技术领域

本发明涉及卷积神经网络框架自动设计技术，帮助经验不足的科研人员完全自主设计高性能的神经网络框架。

背景技术

1.卷积神经网络框架设计问题

近几年，卷积神经网络(Convolution Neural Network，CNN)由于其优异的性能，在图像分类、目标检测、自然语言处理等领域都取得了显著的成功。CNN架构结构复杂，参数众多，而且参数之间相互影响，网络模型太小太浅容易导致欠拟合现象，而网络模型太大太深又容易导致过拟合等问题，因此一个性能良好的CNN模型非常依赖于其架构的设置。

目前针对卷积神经网络框架设计这个问题，常用的方法是人员依据自身丰富的经验对网络架构进行不断的手动调整，从而获得一种高性能的网络架构。但是由于人工设计的方法需要反复试错，方法是非常耗时的，另一方面，人工设计方法需要依赖科研人员的经验，对于经验缺乏的非科研人员，通过人工设计方法设计高性能的网络框架是非常困难的。随着各行各业从传统的手工作业向自动化、信息化、智能化生产过程迈进，CNN框架设计提出了全自动化设计的新挑战。

2.卷积神经网络框架

卷积神经网络由输入层、隐藏层和输出层组成，隐藏层主要包括卷积层、池化层和全连接层。卷积层是卷积神经网络的核心层，该层的参数由一组可学习的过滤器组成，通过使用卷积核对图像等数据中进行特征提取，卷积层的层数越多，就可以提取更多抽象的特征。池化层是夹在卷积层中间的一层，分为最大池化和平均池化，其目的是压缩数据和参数的量，或通过下采样来减少输入的尺寸，但保留重要的信息。全连接层是神经网络的最后一层，主要任务是利用卷积过程的输出，对卷积层提取到的特征进行分类。

3.混洗蛙跳算法

混洗蛙跳算法(Shuffled Frog Leaping Algorithm，SFLA)是由Eusuff andLansey等人于2006年首次提出的一种全新的启发式智能进化算法，其灵感来源于青蛙的觅食行为。 SFLA通过模因算法在青蛙的子群中进行局部搜索，青蛙使用混合策略来混合跳跃算法，并在局部搜索中交换信息。SFLA结合了模因算法和粒子群算法的优点，分别在局部搜索和全局搜索中进行信息交换，将两种信息交换方式很好的结合起来。总体来说，SFLA可搜索性强且易于实现，可用于解决很多非线性、不可检测和多状态等问题。

SFLA的实现流程如图1所示，其数学描述如下：

随机生成初始种群Ω，种群的大小N，则Ω＝{x₁，x₂，...，x_N}，假设待解决的问题维度为d，则x_i＝[x_i1，x_i2，...，x_id]；

采用模因分组法将种群进行分组。假设要将种群分为m个模因组，每个组内的个体数量为n，则N＝m×n，模因分组法分组的具体方法为：种群中的所有个体按照适应度值进行排序，第一只青蛙到第一个模因组内，第二只青蛙到第二个模因组，则第m只青蛙到第m个模因组，第m+1只青蛙又分到第一个模因组内，以此类推，直至所有的青蛙都分到相应的组内。