[发明专利]一种基于反向传播的深度学习方法

说明书

本发明公开了一种基于反向传播的深度学习方法，包括以下步骤：S1：准备训练集；S2：将所述训练集输入到卷积神经网络，得到网络输出；S3：计算所述网络输出和所述训练集中的真值之间的距离，得到交叉熵目标函数；S4：根据所述交叉熵目标函数判断步骤S2的所述网络输出的准确率是否提升，如果是，则执行步骤S5，如果否，则结束训练；S5：采用正弦指数学习速率来对所述卷积神经网络的权值进行更新，并将更新后的该权值输入到步骤S2的所述卷积神经网络中，然后重复步骤S2至S4。本发明提出的深度学习方法，能够大幅度加快分类网络的训练。

技术领域

本发明涉及计算机视觉和图像处理领域，尤其涉及一种基于反向传播的深度学习方法。

背景技术

图像分类属于计算机视觉和图像处理领域，是计算机视觉领域的核心问题之一，有着各种各样实际应用，很多问题比如人脸定位、行人定位都可以归结为分类问题，所以图像分类是一个具有基础性质的图像处理问题，有着重要的学术和工业研究价值。图像超分辨的目标就是，就是已有固定的分类标签集合，然后对于输入的图像，从分类标签集合中找出一个分类标签，最后把分类标签分配给该输入图像。对于人来说，识别出一个像“猫”一样视觉概念是简单至极的，然而从计算机视觉算法的角度来看主要有以下挑战：1、视角变化：同一个物体，摄像机可以从多个角度来展现；2、大小变化：物体可视的大小通常是会变化的(不仅是在图片中，在真实世界中大小也是变化的)；3、形变：很多东西的形状并非一成不变，会有很大变化；4、遮挡：目标物体可能被挡住，有时候只有物体的一小部分(可以小到几个像素)是可见的；5、光照条件：在像素层面上，光照的影响非常大；6、背景干扰：物体可能混入背景之中，使之难以被辨认；7、类内差异：一类物体的个体之间的外形差异很大，比如椅子，这一类物体有许多不同的对象，每个都有自己的外形。面对以上所有变化及其组合，好的图像分类模型能够在维持分类结论稳定的同时，保持对类间差异足够敏感。

目前主流的图像分类方法主要分为三大类：基于最近邻分类器KNN的方法、基于支持向量机的方法和基于深度学习的方法；其中基于KNN的方法，思路简单清晰，完全不需要训练，但是在模型部署的时候会非常耗时，需要和全部训练集中的图片比对一遍；基于支持向量机的方法的计算的复杂性取决于支持向量的数目，而不是样本空间的维数，在某种意义上避免了“维数灾难”；但是其对于核函数的高维映射解释力不强，且依赖于实验者的经验，对数据缺失敏感；基于深度学习的方法从训练集中学习大量先验知识，可以对数据进行自动特征的提取，从而不依赖于人工去选择特征，因此深度神经网络已经在计算机视觉、自然语言处理、语音识别等领域取得了突破性的效果；但是在使用过程中，所涉及的神经网络超参数较多，需要长时间的调试，训练速度一般都较慢，这在一定程度上影响了深度学习在图像分类方法中的广泛应用。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出了一种基于反向传播的深度学习方法，能够大幅度加快分类网络的训练。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于反向传播的深度学习方法，包括以下步骤：

S1：准备训练集；

S2：将所述训练集输入到卷积神经网络，得到网络输出；

S3：计算所述网络输出和所述训练集中的真值之间的距离，得到交叉熵目标函数；

S4：根据所述交叉熵目标函数判断步骤S2的所述网络输出的准确率是否提升，如果是，则执行步骤S5，如果否，则结束训练；

S5：采用正弦指数学习速率来对所述卷积神经网络的权值进行更新，并将更新后的该权值输入到步骤S2的所述卷积神经网络中，然后重复步骤S2至S4。