[发明专利]基于SVD的用于手写汉字识别的循环神经网络的加速方法有效
| 申请号： | 201810502952.1 | 申请日： | 2018-05-23 |
| 公开（公告）号： | CN110533043B | 公开（公告）日： | 2022-04-08 |
| 发明（设计）人： | 梁凯焕;杨亚锋;肖学锋;金连文;孙俊 | 申请（专利权）人： | 华南理工大学;富士通株式会社 |
| 主分类号： | G06V30/22 | 分类号： | G06V30/22;G06V30/32;G06V10/774;G06N3/04;G06N3/08 |
| 代理公司： | 广东广信君达律师事务所 44329 | 代理人： | 杨晓松 |
| 地址： | 510640 广东省广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 svd 用于 手写 汉字 识别 循环 神经网络 加速 方法 | ||
1.基于SVD的用于手写汉字识别的循环神经网络的加速方法，其特征在于：包括以下步骤：
S1：设计并训练出一个用于联机手写汉字的循环神经网络；
S2：对参数矩阵进行SVD分解，根据所需加速的倍数，计算分解后的参数矩阵；
S3：根据分解得到的参数矩阵对网络进行初始化；
S4：对整个网络针对联机手写识别任务重新进行训练，以达到微调的作用；
S5、优化前向实现，动态设置前向过程网络的时间节点长度；
所述S2的具体步骤如下：
S21：对LSTM层的参数矩阵进行SVD分解，根据所要的加速倍数，计算保留的参数矩阵；
S22：对全连接层的参数矩阵进行SVD分解，根据所要的加速倍数，计算保留的参数矩阵；
所述S5的具体步骤如下：
S51：计算每个输入字符的时间节点长度；
S52：根据输入字符的时间节点长度，动态设置前向过程中循环神经网络的时间节点长度。
2.根据权利要求1所述的基于SVD的用于手写汉字识别的循环神经网络的加速方法，其特征在于：所述S1的具体步骤如下：
S11：设计所述循环神经网络的结构，设置LSTM层和全连接层参数，选择时间节点长度；
S12：将训练集的数据作为循环神经网络的输入，采用自适应梯度下降法对循环神经网络进行训练，当循环神经网络在训练集上的误差完全收敛时，终止训练，保存网络参数。
3.根据权利要求1所述的基于SVD的用于手写汉字识别的循环神经网络的加速方法，其特征在于：所述S3的具体步骤如下：
S31：根据步骤S2中计算得到的参数矩阵对LSTM层进行初始化；
S32：根据步骤S2中计算得到的参数矩阵对全连接层初始化。
4.根据权利要求1所述的基于SVD的用于手写汉字识别的循环神经网络的加速方法，其特征在于：所述步骤S4中，对进行SVD分解之后的网络，以低于10倍的学习率针对手写汉字识别任务重新进行训练，以达到微调的效果。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华南理工大学;富士通株式会社，未经华南理工大学;富士通株式会社许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201810502952.1/1.html，转载请声明来源钻瓜专利网。
