[发明专利]一种自动分组的多尺度轻量型深度卷积神经网络优化方法

说明书

本发明公开了一种自动分组的多尺度轻量型深度卷积神经网络优化方法，包括：步骤1，采用对称正余弦算法进行演化搜索得到待评价种群；步骤2，对待评价种群使用多尺度轻量型卷积神经网络在图像分类任务上进行适应度评价，得到被评价后的种群；步骤3，将被评价后的种群中最好的个体解码得到最终的网络模型SCA_MblockNet，并进行模型性能评估。本发明提出的自动分组技术应用于原有的深度卷积神经网络多尺度卷积结构的特征融合模块中，设计出一种改进的多尺度轻量型深度卷积神经网络，在无需领域知识和人工干预的情况下，能将原有卷积神经网络在图像分类数据集上的平均精确度提高2.56％，与几个先进的同类竞争者相比具有显著优势。

技术领域

本发明属于进化深度卷积神经网络结构优化技术研究领域，具体涉及一种自动分组的多尺度轻量型深度卷积神经网络优化方法。

背景技术

深度卷积神经网络(DCNN)是深度神经网络(DNN)的一种，因为其表现出色的特征提取能力而在计算机视觉(CV)和图像处理领域得到了广泛的应用和发展。卷积神经网络(CNN)是最合适的图像内容表示学习算法之一，并在图像分割、目标检测以及图像分类任务中表现出优秀的性能。例如，在图像分类任务中，从1995年LeNet的问世，到2012年AlexNet在ImageNet挑战赛上表现突出，再到2015年VGGNet，ResNet的提出和2016年DenseNet逐渐展示出卷积神经网络的性能优势。然而，其网络结构复杂，参数量和计算量庞大的不足，导致深度卷积神经网络难以在移动端应用。因此，如何提高卷积神经网络的效率使其能够移植到移动端也成为研究者们致力研究的任务。

传统上，大多采用网络剪枝、减少网络层数、优化超参数以及优化网络结构减少网络参数量等简化神经网络的方法。大量的研究工作表明，网络结构的优化对提高卷积神经网络的效率具有重要意义。2016年，SqueezeNet的提出使得轻量化神经网络的研究成为研究者们关心的课题。轻量型深度卷积神经网络的结构设计则是从网络结构的优化方面进行研究的，其主要分为深度可分离卷积和分组卷积两种方法。可分离卷积是将卷积运算分成两层及以上的卷积运算，先将少量卷积与数据进行卷积运算，然后采用1*1的点卷积运算，将输出结构还原为输入结构。例如，轻量型深度可分离网络MobileNet的基本单元可分为深度卷积和逐点卷积两部分。深度卷积对每个输入通道采用不同的卷积核，每个通道之间相互独立，能够在一定程度上减少计算量。分组卷积方法包括多分辨率卷积核分组、多尺度分组以及多通道分组等，通过平衡计算量和表现性能进行设计和应用。例如2017年，ShuffleNet将轻量化模型与压缩模型的方法相结合，在原始ResNet的基础上，采用通道重组、分组卷积和深度卷积进行改进。通过多尺度分组的方式能够在一定程度上将计算量和参数量降低。

目前，在深度卷积网络结构优化设计方面主要分为手动、半自动半手动以及自动设计三大类。传统的网络采用手动的方式设计，但需要专家根据领域知识设计。半自动网络结构设计也需要一定的专业知识进行调整。例如，遗传卷积神经网络(Genetic CNN)、模块设计方法(Block-QNN-S)、分层表示方法以及高级神经体系结构搜索方法(NSANet)，都需要一定的专业知识帮助设计。自动网络结构设计及优化方法，无需任何人工干预和手动调整。例如，大规模进化方法以及笛卡尔遗传规划方法等，不需要专家和先验知识可以搜索出针对特定问题或任务最匹配的结构。现阶段为止，绝大多数自动设计网络结构和参数的方法都是基于进化算法的。