[发明专利]基于双向特征语言模型的自然场景文本识别方法及装置

说明书

一种基于双向特征语言模型的自然场景文本识别方法及装置，方法包括将文本图像输入至视觉模型中，得到视觉特征及视觉预测结果；将视觉预测结果输入至语言模型中，进行双向特征提取，得到语言特征；迭代地执行以下操作：将语言特征和视觉特征输入至融合模型中，得到融合预测结果；确定迭代次数是否满足迭代预设阈值；在迭代次数未满足迭代预设阈值的条件下，将融合预测结果输入至语言模型中，进行双向特征提取，得到语言特征；以及在迭代次数满足迭代预设阈值的条件下，将融合预测结果作为最终结果。本发明提出的文本识别方法识别精度高且效率高。

技术领域

本发明涉及文本识别技术领域，更具体地，涉及一种基于双向特征语言模型的自然场景文本识别方法及装置。

背景技术

拥有从自然场景图像中阅读文本的能力对实现人工智能来说至关重要。为此，早期的方法将文本识别中的字符当作没有意义的符号，并通过计算机视觉模型进行分类。然而，这样的方法在复杂的场景，如包含模糊、噪声、遮挡等的环境中效果较差。因而，不少方法尝试引入语言先验知识进行识别，并取得了较好的效果。

当前基于语言模型的文本识别方法：1)其语言模型从结构上来看均为单向语言模型。尽管有些方法使用一个前向及一个反向语言模型进行集成得到双向的语言模型，但该模型从特征提取角度来说依然是单向的特征表达。然而，单向语言模型的特征表达能力较差，并且计算量较大。2)当前的文本识别方法在语言模型的建模方面均以隐性语言建模为主，导致语言模型的建模能力及可解释性较差。而传统的n-gram语言模型虽然为显性建模，但却做不到端到端训练。3)当前的语言模型难以实现迭代修正的方法。

发明内容

有鉴于此，本发明的主要目的是提供一种基于双向特征语言模型的自然场景文本识别方法及装置，以期至少部分地解决上述提及的技术问题中的至少之一。

为实现上述目的，本发明所采用的技术方案包括：

作为本发明的一个方面，提供一种基于双向特征语言模型的自然场景文本识别方法，包括：

将文本图像输入至文本识别网络的视觉模型中，得到视觉特征及视觉预测结果；其中，所述视觉预测结果表征所述文本图像中的文本信息对应的预测结果；

将所述视觉预测结果输入至所述文本识别网络的语言模型中，进行双向特征提取，得到语言特征；

迭代地执行以下操作：

将所述语言特征和所述视觉特征输入至所述文本识别网络的融合模型中，得到融合预测结果；

确定迭代次数是否满足迭代预设阈值；

在所述迭代次数未满足所述迭代预设阈值的条件下，将所述融合预测结果输入至所述语言模型中，进行双向特征提取，得到所述语言特征；以及

在所述迭代次数满足所述迭代预设阈值的条件下，将所述融合预测结果作为最终结果。

作为本发明的另一个方面，还提供一种基于双向特征语言模型的自然场景文本识别装置，包括：

视觉处理模块，用于将文本图像输入至文本识别网络的视觉模型中，得到视觉特征及视觉预测结果；其中，所述视觉预测结果表征所述文本图像中的每个字符对应的预测结果；

语言处理模块，用于将所述视觉预测结果输入至所述文本识别网络的语言模型中，进行双向特征提取，得到语言特征；

融合处理模块，用于迭代地执行以下操作：

将所述语言特征和所述视觉特征输入至所述文本识别网络的融合模型中，得到融合预测结果；

确定迭代次数是否满足迭代预设阈值；

在所述迭代次数未满足所述迭代预设阈值的条件下，将所述融合预测结果输入至所述语言模型中，进行双向特征提取，得到所述语言特征；以及