[发明专利]基于CTC的图像文字识别方法及装置

说明书

本发明公开了一种基于CTC的图像文字识别方法及装置，包括：基于训练好的文字识别模型识别目标图像中的文字，得到目标图像对应的原文字集合，该原文字集合包括从目标图像中识别出的至少一个原文字；将每个原文字转换成对应的向量，并将所有原文字对应的向量输入预先训练好的语义纠正模型，得到每个原文字对应的预测文字；将所有原文字对应的预测文字确定为目标图像的文字识别结果；其中，该文字识别模型为基于连接时序分类CTC的文字识别模型。可见，本发明能够基于文字识别模型与语义纠正模型的组合实现对图像文字的识别，在识别图像文字的同时实现了对识别到的图像文字的语义纠错，有利于提高对图像文字的识别准确率。

技术领域

本发明涉及图像文字识别技术领域，尤其涉及一种基于CTC的图像文字识别方法及装置。

背景技术

当前，人们在日常的生活、工作中需要处理大量的文字，为了节省人们对文字的处理时间，提高处理效率，越来越多的应用场景采用了文字识别技术，且随着文字识别技术的发展日趋成熟，其对于文档类文字有着较高的识别准确率。

在实际应用中，除了要处理文档类文字之外，还需要处理大量的图像文字。然而实践发现，自然场景下的图像中经常会出现不同类型的噪声，例如光照变化、拍摄角度变化、字体大小不一等为图像带来的噪声，在识别这类图像中的文字时，会出现错误识别文字的情况，进而会导致图像文字识别准确率低。可见，如何提高对图像文字的识别准确率显得尤为重要。

发明内容

本发明提供了一种基于CTC的图像文字识别方法及装置，能够提高对图像文字的识别准确率。

本发明第一方面公开了一种基于CTC的图像文字识别方法，所述方法包括：

基于训练好的文字识别模型识别目标图像中的文字，得到所述目标图像对应的原文字集合，所述原文字集合包括从所述目标图像中识别出的至少一个原文字；

将每个所述原文字转换成对应的向量，并将所有所述原文字对应的向量输入预先训练好的语义纠正模型，得到每个所述原文字对应的预测文字；

将所有所述原文字对应的预测文字确定为所述目标图像的文字识别结果；

其中，所述文字识别模型为基于连接时序分类CTC的文字识别模型。

作为一种可选的实施方式，在本发明第一方面中，所述将所有所述原文字对应的向量输入预先训练好的语义纠正模型，得到每个所述原文字对应的预测文字，包括：

对于每个所述原文字，将该原文字对应的向量分别乘以预先确定出的矩阵W^Q、矩阵W^K及矩阵W^V，得到该原文字对应的查询向量、该原文字对应的键向量以及该原文字对应的值向量，并对该原文字对应的查询向量、键向量及值向量执行编解码操作，得到该原文字对应的预测文字。

作为一种可选的实施方式，在本发明第一方面中，所述基于训练好的文字识别模型识别目标图像中的文字，得到所述目标图像对应的原文字集合之前，所述方法还包括：

基于预先确定出的训练图像样本联合训练文字识别模型及语义纠正模型。

作为一种可选的实施方式，在本发明第一方面中，所述基于预先确定出的训练图像样本联合训练文字识别模型及语义纠正模型，包括：

将预先确定出的训练图像样本输入文字识别模型得到所述训练图像样本对应的初始文字识别结果及CTC损失函数；以及，将所述训练图像样本对应的初始文字识别结果输入语义纠正模型得到所述训练图像样本对应的目标文字识别结果及交叉熵损失函数；