[发明专利]一种基于深度学习的端到端脱机手写英文识别方法及装置

权利要求书

1.一种基于深度学习的端到端脱机手写英文识别方法，其特征在于，所述方法在CNN和RNN网络中的字符图像处理环节引入单字符的定位，并在单字符定位之后，CNN网络之间加入空间转换网络STN作为字符的矫正方法，最后在特征输出层再接入字符解码模型。

2.根据权利要求1所述的一种基于端到端的脱机手写英文识别方法，其特征在于，所述方法具体包括以下步骤：

步骤一，采用连通域定位方法将存在间隔的独立字符进行定位，得到单个或连体的字符片段作为识别的对象；

步骤二，通过将空间转换网络STN引入CNN网络中，完成图像特征的变换，输出矫正后的特征图；

步骤三，在每层的CNN网络中都嵌入STN，提取字符特征信息；

步骤四，将提取的特征序列依次按序送入至RNN网络中，RNN网络采用改进的LSTM网络，对输入的特征序列信息做上下文的关联，利用遗忘门控单元做信息取舍，将重要的状态记录，并多次学习有用的信息做正向和反向的推理，输出具有预测性的特征序列；

步骤五，采用EnCTC算法对步骤四中所述特征序列进行字符的解码，EnCTC损失函数可准确的翻译出每个被定位的字符，再将这些转译后的字符选择出最佳的字符路径，依次输出最终识别的每个字符。

3.根据权利要求2所述的一种基于端到端的脱机手写英文识别方法，其特征在于，步骤二中，所述STN网络包括：定位网络、网格生成器和采样器，定位网络做形变参数估计，所述网格生成器和采样器将根据估计的参数产生新的形变特征图。

4.根据权利要求3所述的一种基于端到端的脱机手写英文识别方法，其特征在于，所述形变参数估计包括旋转度、平移距离和缩放因子。

5.根据权利要求2所述的一种基于端到端的脱机手写英文识别方法，其特征在于，所述步骤三中，所述CNN网络采用改进的VGG16和Mish激活函数。

6.根据权利要求2所述的一种基于端到端的脱机手写英文识别方法，其特征在于，所述EnCTC损失函数公式，如下：

L_ENCTC＝L_CTC-βH(P(l|y))；

其中，L_CTC＝-logP(l|y)；

y＝y₁，y₂·y_T-1，y_T为输入序列；T为序列长度；π代表路径Path；l代表序列结果。

7.一种基于端到端的脱机手写英文识别装置，其特征在于，包括：

第一单元：用于将存在间隔的独立字符进行定位，得到单个或连体的字符片段作为识别的对象；

第二单元：用于完成图像特征的变换，输出矫正后的特征图；

第三单元：用于提取字符特征信息，保证输出的特征图维度保持一致；

第四单元：用于将提取的特征序列依次按序送入至RNN网络中，RNN网络采用的是改进的LSTM网络，对输入的特征序列信息做上下文的关联，输出具有预测性的特征序列；

第五单元：用于对所述特征序列进行字符的解码，再将这些转译后的字符选择出最佳的字符路径，依次输出最终识别的每个字符。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时，实现权利要求1-6任一项所述方法的步骤。

9.一种基于端到端的脱机手写英文识别装置，其特征在于：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1-6任一项所述方法的步骤。