[发明专利]一种基于深度学习的端到端脱机手写英文识别方法及装置

说明书

本发明提出一种基于深度学习的端到端脱机手写英文识别方法及装置，通过利用深度学习神经网络具有的学习特性，避免了单字符切割的繁琐步骤，不仅能够从字符串的整体信息中学习到字符间的前后关系，而且根据字符的前后关系预测出可能的字符，最终完成整个英文字符串的对应识别；本发明实现英文手写体文本图像的内容识别，能充分捕捉图的结构特性，且运算效率高，预测精度高。

技术领域

本发明属于图像识别技术领域，提出一种基于深度学习的端到端脱机手写英文识别方法及装置。

背景技术

伴随着信息化时代的到来，一场无声的战争已然打响，技术呈现爆发式增长，各类新产品相继诞生。其中，自动识别产品逐渐走进了人们的视野，人们在享受科技带来便利的同时，更加追求技术的超越，这不仅推动了文字识别领域新兴技术的兴起，更使产品具有其独特的竞争力。

在传统文字识别技术领域，脱机手写识别一直是研究的重点和难点。近年来，随着人工智能技术的迅猛发展，在文本识别方面的相关新兴技术层出不穷，现从技术层面大致分为两类：手写单字识别技术和手写字符串识别技术。其中脱机手写英文识别属于手写字符串识别的技术范畴，传统字符串识别方法都是采用字符切割的方式做单字识别处理，再将识别出的单字符结果做合并处理。考虑到真实手写英文字符存在各种差异，如：字符黏连，字符大小不一，字符形态多变等特点，实际切割面临诸多困难，而人工智能技术突破了传统技术的束缚，引入了全新的字符串整体识别技术，并逐渐走向成熟。为了在文本识别领域，尤其对字符串的识别想取得更好的效果，仍需要在技术方面做到更细致的改进和深入的优化。

发明内容

本发明提出一种基于深度学习的端到端脱机手写英文识别方法，通过利用深度学习神经网络具有的学习特性，避免了单字符切割的繁琐步骤，不仅能够从字符串的整体信息中学习到字符间的前后关系，而且根据字符的前后关系预测出可能的字符，最终完成整个英文字符串的对应识别。

鉴于上述问题，本发明提供一种基于深度学习的端到端脱机手写英文识别方法及装置。

第一方面，本发明提供一种基于深度学习的端到端脱机手写英文识别方法，所述方法基于的骨干网络仍采用CNN和RNN网络，网络内部做了修改，而在字符图像处理方面引入了单字符的定位，并在单字符定位之后，CNN网络之间加入了空间转换网络STN作为字符的矫正方法，最后在特征输出层再接入字符解码模型。

进一步的，一种基于端到端的脱机手写英文识别方法，所述方法具体包括以下步骤：

步骤一，采用连通域定位方法将存在间隔的独立字符进行定位，得到单个或连体的字符片段作为识别的对象；

步骤二，通过将空间转换网络STN引入CNN网络中，完成图像特征的变换，输出矫正后的特征图；

步骤三，在每层的CNN网络中都嵌入STN，提取字符特征信息，CNN框架采用了改进的VGG16，采用Mish激活函数替换原有的Relu激活函数，每层的卷积核大小和步长可根据特征图的实际大小做适当调整，保证输出的特征图维度保持一致。

步骤四，利用CNN卷积层和最大池化层的特性，将提取的特征序列依次按序送入至RNN网络中，RNN网络采用的是改进的LSTM网络，对输入的特征序列信息做上下文的关联，利用了遗忘门控单元做信息的取舍，将重要的状态记录，并多次学习有用的信息做正向和反向的推理，输出具有预测性的特征序列；

步骤五，采用EnCTC算法对步骤四中所述特征序列进行字符的解码，EnCTC损失函数可准确的翻译出每个被定位的字符，再将这些转译后的字符选择出最佳的字符路径，依次输出最终识别的每个字符。

进一步的，步骤二中，所述STN网络包括：定位网络、网格生成器和采样器，定位网络做形变参数估计，所述网格生成器和采样器将根据估计的参数产生新的形变特征图。

进一步优选的，所述形变参数估计包括旋转度、平移距离和缩放因子。