[发明专利]基于自适应带微分梯度优化的手写体识别方法

说明书

本发明公开了一种基于自适应带微分梯度优化的手写体识别方法。在用于手写体识别的BP神经网络参数优化算法中，本发明通过结合传统控制理论思想，将常用的梯度下降算法进行重新整合、变形；然后，在常规梯度下降算法中加入微分环节进行超前的校正，通过误差的变化率预报误差信号的未来变化趋势，从而提高精度；最后利用存储的指数衰减的过去平方梯度的平均值自适应地调整学习率，从而加快训练速率。本发明所提供的方法引入微分环节可以有效地提高训练速率，通过误差的变化率预报误差信号的未来变化趋势。并且学习率可以自适应调整，即当训练接近最优值是由于累积过去平方梯度增大而学习率减小，避免学习率过大而跳过最优点。

技术领域

本发明属于人工智能领域，涉及深度学习与智能计算中网络训练及优化方面，特别是涉及一种基于自适应带微分梯度优化的手写体识别方法。

背景技术

人工智能是一门研究开发模拟、延伸和扩展人类智能的技术，其主要研究内容可归纳为四个方面：机器感知、机器思维、机器行为和机器学习。而机器学习是利用计算机、概率论、统计学等知识，通过给计算机程序输入数据，让计算机能够学习新知识和新技能，其最初的研究动机是为了让计算机系统具有人的学习能力以便实现人工智能。深度学习是基于学习特征的更广泛的机器学习方法，它试图在多个层次中进行学习，其中较高层次的概念是从较低层次的概念中定义的，而较低层次的概念可以帮助定义许多更高层的概念。

随着研究的不断深入，深度学习技术已经被应用到数以百计的实际问题中，且超出了传统的多层神经网络的内涵。而光学字符识别(Optical Character Recognition,OCR)是其广泛应用的一个领域，它的主要任务是对文本资料的图像文件进行分析识别处理，获取文字及版面信息。

卷积神经网络是一类特殊的用于数据处理的神经网络，它受视觉系统结构的启发，由生物学家Hubel和Wiesel于1962年提出。他们通过对猫的实验发现：人的视觉系统的信息处理是分级的，初级视觉皮层提取边缘特征，中级视觉皮层提取形状或者目标，更高层的视觉皮层得到特征组合。受此启发，Lecun等人于1989年提出了卷积神经网络。此后，卷积神经网络被广泛地应用于图像处理、手写体识别等领域中，并衍生出许多改进模型。

神经网络的优化问题是深度学习与智能计算领域一个非常重要的问题，尤其是神经网络权值的学习和修正问题，大多数学习算法是基于迭代的更新方法，而常用的基于梯度的优化算法最大的困难是如何选择合适的学习率及梯度来加快训练速率及收敛率。

目前，手写体识别方法常用的优化方法为带动量的梯度下降算法，此种方法主要存在1)收敛率较差，且收敛速率比较慢。2)权重更新滞后于实际梯度改变。3)学习率对于不同参数单一性问题。鉴于此，本发明在对常规梯度下降算法重新整合后，提出一种自适应带微分梯度优化方法，能够有效地克服上述问题，并提高训练的收敛率及收敛速率，从而提高手写体识别方法的识别率。

发明内容

本发明针对现有技术中存在的不足，提供一种基于自适应带微分梯度优化的手写体识别方法。

1)模型参数的预处理：离线训练多层卷积神经网络模型。

2)对完成扫描的样本进行预处理：对手写体字样本的处理及图像中字符的定位，切割或切分，归一化，二值化，平滑，去燥，细化以及生成样本。基于数据集构建训练样本集及测试样本集。

3)输入样本集，提取样本集特征：找出样本中能够有效区分不同类型的本质特征，通过特征提取，找到最有用的信息，大大减少数据量。

4)网络建立与优化：将提取到的特征输入到单隐层BP神经网络系统训练，并且系统采用自适应带微分梯度优化方法优化。

5)使用所得到的神经网络对未知手写体样本进行识别。