[发明专利]一种有效减少图像分类任务中神经网络过拟合的方法

说明书

本发明提供了一种有效减少图像分类任务中神经网络过拟合的方法，包括以下步骤：步骤S1、基于图像给定一个网络模型；步骤S2、将Sequence‑Dropout Block置入到模型的卷积层block中间或模型的全连接层的后面。本发明具有以下有益效果：能有效的减少图像分类任务中神经网络过拟合现象，最大程度的保留重要特征，使图像的模型在学习的过程中保持识别精度同时提高泛化能力。

技术领域

本发明涉及图像处理领域，特别涉及一种有效减少图像分类任务中神经网络过拟合的方法。

背景技术

在神经网络的发展历程中，分布式表征(Distributed Representation)和反向传播算法的提出解决了感知器无法解决异或门(XOR gate)的难题，实现多层感知的计算，而随着深度学习理论的提出和数值计算设备的改进，使得神经网络成功应用于计算机视觉、语音识别、记忆网络、自然语言处理等其他领域。然而神经网络仍脱离不了现实应用中的窘境，模型的参数太多，训练样本又太少，训练出来的模型很容易产生过拟合的现象。

卷积神经网络属于神经网络中的一种，大量的研究表明该网络是解决各种视觉任务的有效模型。然而随着网络层数的增加，网络模型无可避免的出现退化问题，在现有技术中利用shortcut connection来学习残差函数，使得卷积网络更容易优化，不仅增加了网络层数，也使性能得到很大的提高。但是随着超参数数量的增加(比如通道数，卷积核大小等)，网络设计的难度和计算开销也会增加，接着出现了采用堆叠的思想和split-transform-merge思想，通过增加Cardinality(the size of the set oftransformations)，实现在不增加参数复杂度的前提下提高了准确率。而网络层间连接的重新表示能够使网络更窄、参数更少，使得特征和梯度的传递更加有效，网络也就更加容易训练。以上的大部分研究工作的目标都是集中在减少模型和计算复杂度上面，对各特征通道的依赖性进行建模，可以对特征进行逐通道调整，实现feature通道自适应校准，在增加少量额外的计算下提高了模型的精度。

过拟合是深度神经网(DNN)中的一个常见问题，为了减少overfitting 神经科学社区(neuroscience community)已进行了大量的研究工作。数据集扩增(dataaugmentation)是一种最直接的减少过拟合的方法，更多的训练数据意味着可以用更深的网络，训练出更好的模型，但数据集的人工标注使得这种方式效率低下。从本质来看，过拟合就是训练过度导致，因此在模型对训练数据集迭代收敛之前停止迭代可以防止模型过拟合,然而这种early stopping的方式因为早早的就停止了迭代过程，所以无法保证成本函数(cost function)尽可能的小。最常见的做法就是直接从成本函数入手，为代价函数添加正则项对优化的参数进行约束，能够在一定程度上降低过拟合情况。而目前最普遍的研究是通过修改神经网络本身减少模型的过拟合，称为 Dropout，即在每次训练的时候，随机让一半的特征检测器停止工作，这样可以提高网络的泛化能力。而Dropout的一大缺点就是cost function不再明确定义了，每次迭代都会随机的移除一些节点，这样就不太容易去检查梯度下降的性能了。通常不移除节点的话cost function的值是在不断下降的，但是移除了节点之后就不一定可以保证cost function单调递减。Sequence-Dropout 摒弃了Dropout随机性剔除神经元的做法，而是依据通道权重值选择性的剔除神经元，能够实现在相同神经元数目下即保证了重要特征的遗留，又减少神经元之间复杂的共适应关系，能够使网络对丢失特定神经元连接的鲁棒性提高。

在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高，但是在测试数据上损失函数比较大，预测准确率较低。如果模型过拟合，那么得到的模型几乎不能用。为了解决过拟合问题，一般会采用模型集成的方法，即训练多个模型进行组合。此时，训练模型费时就成为一个严重的问题，不仅训练多个模型费时，测试多个模型也是很费时。

发明内容