[发明专利]基于SVD的用于手写汉字识别的循环神经网络的加速方法

说明书

本发明涉及基于SVD的用于手写汉字识别的循环神经网络的加速方法，包括以下步骤：S1：设计并训练出一个用于联机手写汉字的循环神经网络；S2：对参数矩阵进行SVD分解，根据所需加速的倍数，计算分解后的参数矩阵；S3：根据分解得到的参数矩阵对网络进行初始化；S4：对整个网络针对联机手写识别任务重新进行训练，以达到微调的作用；S5：优化前向实现，动态设置前向过程网络的时间节点长度。本发明采用了循环神经网络针对联机手写汉字识别，并且运用了SVD对训练得到的网络进行分解，显著减少了网络的计算复杂度，同时，在前向过程中根据输入数据动态地设置网络的时间节点长度，加速网络的前向运行时间，保证了网络的识别精度。

技术领域

本发明涉及模式识别和人工智能的技术领域，尤其涉及到基于SVD的用于手写汉字识别的循环神经网络的加速方法。

背景技术

手写汉字识别由于汉字类别众多，书写者之间风格不一致，相似字符的存在等问题，一直都是学术界所关注和致力解决的重要模式识别问题。根据输入数据进行分类，手写汉字可以分为脱机手写汉字和联机手写汉字。对于脱机手写汉字，输入数据是保存字符形态的静态图像，主要应用在票据、场景文字、古籍文献识别等领域。对于联机手写汉字而言，字符笔画的时序信息同样被保存下来，主要应用在手机，平板电脑等移动系统。

近年来，循环神经网络的出现，特别是LSTM层的提出，有效地利用了输入数据的时序信息，同时避免了人工繁琐的提取特征步骤，使得联机手写汉字的识别性能得到极大的提高。但是，一般来说，循环神经网络的时间计算复杂度较大，前向计算时间长，难以嵌入到移动设备端。因此，在保证识别精度的前提下，对循环神经网络进行加速显得尤为重要。

发明内容

本发明的目的在于克服现有技术的不足，提供一种减少网络计算量的同时能保证网络识别率的基于SVD的用于手写汉字识别的循环神经网络的加速方法。

本发明的技术方案是这样实现的：

基于SVD奇异值分解(Singular Value Decomposition)的用于手写汉字识别的循环神经网络加速方法，包括步骤：

S1：设计并训练出一个用于联机手写汉字的循环神经网络；

S2：对参数矩阵进行SVD分解，根据所需加速的倍数，计算分解后的参数矩阵；

S3：根据分解得到的参数矩阵对网络进行初始化；

S4：对整个网络针对联机手写识别任务重新进行训练，以达到微调的作用；

S5：优化前向实现，动态设置前向过程网络的时间节点长度。

进一步地，S1的具体步骤如下：

S11：设计所述循环神经网络的结构，设置LSTM层和全连接层参数，选择时间节点长度；

S12：将训练集的数据作为循环神经网络的输入，采用自适应梯度下降法对循环神经网络进行训练，当循环神经网络在训练集上的误差完全收敛时，终止训练，保存网络参数。

进一步地，S2的具体步骤如下：

S21：对LSTM层的参数矩阵进行SVD分解，根据所要的加速倍数，计算保留的参数矩阵；

S22：对全连接层的参数矩阵进行SVD分解，根据所要的加速倍数，计算保留的参数矩阵。

进一步地，S3的具体步骤如下：

S31：根据步骤S2中计算得到的参数矩阵对LSTM层进行初始化；

S32：根据步骤S2中计算得到的参数矩阵对全连接层初始化。

进一步地，步骤S4中，对进行SVD分解之后的网络，以低于10倍的学习率针对手写汉字识别任务重新进行训练，以达到微调的效果。