[发明专利]一种基于网络增长和逼近论的图像分类方法

说明书

本发明涉及一种基于网络增长和逼近论的图像分类方法，属于深度学习领域。使用神经网络对图像分类时，由于网络学习能力和数据集噪声等影响，在图像数据集的样本空间某些区域必然存在误差。本发明从该问题出发，利用逼近论的思想，对每个存在误差的区域使用本发明设计的自适应网络补偿误差，通过增加整体网络规模将样本空间所有误差区域的误差均下降到0。每个增加的自适应网络根据输入图像大小、通道数和样本空间划分数按照预先设计的神经元单元堆叠形成。本方法和逼近论结合，适用于动态变化的数据集，通过网络增长不断学习图像数据集特征，迭代减小分类误差，提高图像数据集分类正确率，减少参数训练次数，加快图像分类速度。

技术领域

本发明属于人工智能领域，更具体来说深度学习方向的一种基于网络增长和逼近论的图像分类方法。

背景技术

深度学习，作为机器学习领域中的一个研究方向，主要目的是模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，使得计算机能够获得和生物大脑相似的学习能力。在图像领域，我们所做的工作主要是图像分类和目标检测，目标是尽可能地提高分类和识别的准确率。但目前的图像分类，大多是使用固定的网络结构，会出现分类时间过长、模型应用不灵活、陷入局部最优导致图像分类准确率低等问题。

训练固定的网络结构进行图像分类，那么网络结构往往都需要根据经验人工设定，但由于人工设计的网络结构并不能够完整地学习图像所有特征，因此常常陷入局部最优，造成图像分类正确率低的问题；网络的参数也需要大量的时间训练，参数收敛速度较慢时会导致分类时间过长的问题；另外，当数据集产生变化时，比如加入新的图像或减少一部分原有图像，那么网络参数则需要重新训练，这就导致资源和时间的浪费，灵活性很低。由于这些问题的存在，自动化网络架构搜索技术应运而生，使用该技术可以根据图像数据集自动得到合适的网络结构，不再需要人工设计，增加了网络对图像数据集特征的学习能力，并在搜索的同时进行参数训练，提高了神经网络对图像分类的正确率。

目前架构搜索主要分为三类：全局搜索结构、基于单元(cell-based)搜索结构和层次搜索结构。全局搜索结构搜索一个完整的网络结构，具有很高的自由度；基于单元搜索结构所搜索的网络是通过在模板定义的、预先指定好的排列中重复cell结构来构建的；层次搜索结构则是将前一步骤生成的单元结构作为下一步单元结构的基本组成部件，通过迭代的思想得到最终的网络结构。

此外动态增长神经网络也被认为是一种很好的方法，能够逐步增长神经网络结构的高效技术可以让我们共同优化网络参数和结构，以实现更高的精度和计算效率，尤其是在动态变化的图像数据集中更加适用。目前主要的增长网络方法主要包括对于同一层中节点的增长、某一节点的分裂增长方式和神经网络不同层之间的增长方式。

针对当前图像分类方法存在的问题，本发明将网络增长，逼近论和架构搜索方法结合起来，采用迭代的方法动态增长网络结构，以每一轮迭代的分类误差为指导，不断提高网络对图像数据集的学习能力，这种迭代逼近的方法可以跳出局部最优的困扰，提高网络图像分类的正确率。同时增长神经网络的方法更加灵活，当加入新的图像进行训练时，已完成训练的网络和参数无需变化，仅需增加网络结构和训练新的参数即可，大大提高了图像分类的灵活性，缩短了网络训练和图像分类所花费的时间。

发明内容

有鉴于此，本发明提供一种基于网络增长和逼近论的图像分类方法，本发明通过使用不断增长的神经网络进行图像分类，增长方式为迭代的方式，每一次迭代都生成一个cell堆叠的自适应神经网络对数据集内的图像特征进行学习，再将自适应网络增加到已有的神经网络中，以此来不断增加网络对输入图像数据集的学习能力。使用此增长网络对图像进行分类，既能够使每次迭代生成的自适应网络对已有神经网络效果进行调整，减少由于学习能力不足产生的分类误差；还能够使神经网络对于变化的图像数据集适应能力更强，输入图像数据集变化时无需重新训练参数，仅仅增加自适应网络进行调整即可；同时能够可以跳出局部最优的困扰，通过迭代的方式增长网络，逐轮训练逼近正确分类结果。进而达到减少分类时间、增加图像分类灵活性、提高分类正确率的目的。