[发明专利]一种基于OCR识别结果的文本定位纠错方法系统

说明书

本发明涉及一种基于OCR识别结果的文本定位纠错方法系统，属于自然语言处理和文字识别技术领域。首先在文本获取模块获取两份识别文本。接着在文本预处理模块对识别文本进行预处理。然后在待纠错字符定位模块利用LCSstr算法，将待纠错字符打上颜色标签，实现定位。接下来在断句提取模块对文本进行断句，利用Bigram模型计算句子困惑度，选择待纠错句子。之后在MLM模型纠错模块中，在预训练中引入形近字库，然后由模型得到待纠错字符的预测集。最后在字形匹配输出模块，计算待纠错字符与预测集关于笔画的字形相似度，得到最佳预测结果，输出修正文本。本发明通过对双引擎文字识别结果进行比对，实现对识别文本的有效纠错。

技术领域

本发明涉及一种基于OCR识别结果的文本定位纠错方法系统，属于自然语言处理和文字识别技术领域。

背景技术

近几年文字识别的应用被广泛推开，识别技术也逐渐成熟，目前识别精度已经达到90％以上，能基于满足人们的日常生活需要，但由于图片上的文字会受到场景，分辨率，倾斜角度，文字大小，背景的复杂程度，以及图片中与文字具有相似形状的物体轮廓等因素的影响都会造成识别精度降低。所以对识别后的内容进行纠错成为了一个热门的研究课题。

目前的文本纠错主要分为基于规则的解决思路和基于深度学习的解决思路。基于规则的纠错方法主要分为错误检测和错误纠正两步。用切词器进行分词，由于句子中有错字，所以会出现切词的错误，可以从字粒度和词粒度去检测错误，然后针对两种粒度的检错结果，形成疑似错误位置候选集。在错误纠正部分，遍历所有的疑似错误位置，并使用音似、形似词典替换错误位置的词，然后通过语言模型计算句子困惑度，对所有候选集结果比较并排序，得到最优纠正词。对于深度学习的方法较多，主要有端到端的纠错，通过序列标注进行纠错，以及基于生成的纠错三种类型，这些模型可以学习到句子语义特征或语法特征，有利于文本纠错，其次也会将字音、字形特征引入模型，加强模型的纠错效果。但是基于深度学习的方法耗时比较长，需要依赖大量的训练数据。

发明内容

本发明要解决的技术问题是提供一种基于OCR识别结果的文本定位纠错方法系统，从而弥补现有文字识别技术的不足，实现对识别文本的定位纠错，解决上述问题。

本发明的技术方案是：一种基于OCR识别结果的文本定位纠错方法，核心在于利用LCSstr算法对待纠错字符进行定位，利用困惑度选择待纠错句子，利用MLM模型进行纠错，利用字形相似度找到最佳结果。

具体步骤为：

Step1：使用两个文字识别引擎获取两个所需的识别文本text1和text2。

text1＝{a₁，a₂，…，a_i，…，a_m}，text2＝{b₁，b₂，…，b_j，…，b_n}

Step2：将Step1中获取到的识别文本进行预处理。

Step3：对Step2预处理后的识别文本text1和text2定位待纠错字符。

Step4：用断句的标点符号去分割句子，提取带颜色标签字符的句子构成句子对，对句子对中的每个句子计算困惑度，每个句子对中困惑度最小的句子便为带纠错句子。

Step5：进行文本纠错，将待纠错句子中的待纠错字符用mask标记字符替换后送入训练好的MLM模型，由模型对句子中的待纠错字符进行定位预测，取预测结果的top，并最后输出修正后的识别文本。

所述Step2具体为：

Step2.1：首先检测识别文本中的不可见字符，包括中英文空格和换行符，并去除这些字符。

Step2.2：然后检测识别文本中是否存在半角字符，如果存在将其替换为相应的全角字符。