[发明专利]基于神经网络和注意力机制结合的文字识别系统及方法

摘要

本发明请求保护一种基于神经网络和注意力机制结合的文字识别系统及方法，具体包括：卷积神经网络特征提取模块，用于文字图像的空间特征；将卷积神经网络提取的空间特征输入到双向长短期记忆网络模块，双向长短期记忆网络能够提取文字的序列特征；将提取的特征向量进行语义编码，然后通过注意力机制分配特征向量的注意力权值，让注意力集中在权值较高的特征向量；模型的解码部分，通过嵌套长短期记忆网络实现，将注意力提取到的特征和前一时刻的预测信息作为嵌套长短期记忆网络的输入，前后均采用长短期记忆网络的目的是为了保持特征向量的时间特性，使模型注意位置点随着时间不断变化；本发明能够更准确的检测自然场景中的文字区域，并且对小目标文字和倾斜角度小的文本有很好的检测效果。

主权项

1.一种基于神经网络和注意力机制结合的文字识别系统，其特征在于，包括：特征提取模块、编码和注意力模块及解码模块，其中，特征提取模块采用的是卷积神经网络和双向长短期记忆网络相结合的结构，所述卷积神经网络用于提取文字图像的空间特征；所述双向长短期记忆网络用于提取文字的序列特征；编码和注意力模块，用于对双向长短期记忆网络编码阶段的隐藏状态hi进行加权求和，获取不同时刻的注意力权值，然后通过注意力聚焦对当前时刻的输出作预测；解码模块采用的是嵌套长短期记忆网络，解码部分是对编码生成的中间语义信息进行解析，解码需要利用注意力机制对编码的状态进行注意力聚焦，然后通过嵌套长短期记忆网络学习过去某时刻的解码信息，用于提取文本的序列信息，通过前一时刻的状态预测当前时刻的输出。