[发明专利]一种基于优化深度卷积神经网络结构快速进化的图像分类器构建方法

说明书

一种优化深度卷积神经网络结构的快速进化方法，包括以下步骤：1)使用基于GNP的进化算法有效构建非线性的CNN网络结构，并对CNN结构的各种超参数进行变异以寻找最优的CNN超参数组合；2)在进化过程中，设计了一种多目标的网络结构评价方法，将分类准确率和分类器的复杂程度同时作为优化目标，目的是有效生成具有高分类准确率和简单结构的CNN分类器；3)提出了增量式训练方法，在上一代CNN结构的基础上进行子代CNN结构的训练。本发明能减少模型的训练次数，降低算法的时间复杂度。

技术领域

本发明属于图像分类领域，涉及一种基于优化深度卷积神经网络结构快速进化的图像分类器构建方法。

背景技术

随着科技的飞速发展，大数据时代已经到来。深度学习以深度神经网络(DNN)作为模型，在许多人工智能的关键领域取得了十分显著的成果，如图像识别、增强学习、语义分析等。卷积神经网络(CNN) 作为一种典型的DNN结构，能有效提取出图像的隐层特征，并对图像进行准确分类，在近几年的图像识别领域得到了广泛的应用。在 1998年，LeCun等人提出了LeNet-5卷积网络结构，这一结构被认为是深度学习史上的里程碑。LeNet-5可以识别由32×32像素构成的手写字图像，但是由于LeNet-5的结构较为简单，以及当时计算力的匮乏，LeNet-5并没有在图像分类上取得显著成果。2012年，Alex等人搭建了深度学习算法AlexNet，利用深度学习技术大大降低了 ImageNet图像分类的错误率，使深度学习收到了广泛的关注。之后， ResNet,DenseNet and GoogleNet等网络框架也陆续被提出，这些算法通过添加相应的模块极大的拓展了CNN的深度，进一步提高深度学习在图像分类上的准确率。

进化计算作为一种经典的优化参数方法，在很早之前就被用于优化神经网络结构。原始的神经网络不使用梯度下降算法而是用进化计算方法来优化权重参数。进化计算是一个自然的选择过程，交叉和变异重组现有的神经网络的一部分，以获得突变率更好的后代，与神经网络具有很好的匹配性。优化网络权重的进化方法有CMA-ES算法、 SANE算法和ESP算法。CMA-ES是一种持续优化的技术，这种方法捕捉权重之间的相互作用，并在优化权重方面效果良好。SANE和ESP 发展部分网络结构并将其组合成功能完善的网络。

现在的进化算法更多地被用来优化神经网络的结构和超参数。 Masanori等提出了CGP-CNN算法。他们试图自动构建基于笛卡尔遗传规划(CGP)的图像分类任务的CNN体系结构，采用功能强大的模块作为CGP的节点功能来评估网络结构。Fernando等通过一个自编码器演化成一个组合模式产生网络(CPPN)输出神经网络的权重，然后使用拉马克自适应将训练后的权重整合到CPPN基因组中。Duforq 等提出了Evolutionary DEep Networks(EDEN)算法，这种算法能有效进化出具有一定分类准确率且结构较为简单的CNN分类器。更重要的是，这种方法仅仅在单个GPU上运行6-24小时就能完成整个进化过程，这大大提高了进化计算的优化效率。Audrey等提出了 SES-CNN，他们在进化过程中利用有性繁殖方法来加速演化发展，目标是通过结合两个父代网络，在后代中合成更多样化和更一般化的后代网络，使产生的后代具有更紧凑的特征表示。lorenzo等将粒子群优化(PSO)应用于CNN中的超参数选择，并设计了基于粒子群优化的并行计算法方法来简化进化算法的运行时间，其目的是为了达到负载平衡并执行并发任务。Miikkulainen等基于NEAT的神经进化技术提出了CoDeepNEAT算法，在这种算法中，蓝图由一个个模块搭建而成，通过对模块的重用来寻找最优的网络结构。Shafiee等在优化过程中引入了概率模型，通过概率分布呈现遗传编码和环境条件。Zoph等结合强化学习与递归神经网络来获得良好的体系结构，在800个GPU上训练了800个网络类获得最优解。Real等使用神经进化方法，使用在250 台计算机上执行的并行系统来优化用于图像分类问题的CNN分类器。

发明内容