[发明专利]基于深度学习的确认OCR识别结果可靠性的方法及介质

说明书

本发明涉及一种基于深度学习的确认OCR识别结果可靠性的方法，包括如下步骤：将OCR识别得到的票据影像按设定的字段进行分割，生成多个字段碎片图像和各字段碎片图像在所述票据影像上的坐标信息；对各字段碎片图像进行单字分割，生成单字图像和单字图像在所述票据影像上的坐标信息；对所述单字图像进行特征提取，得到单字的第一特征矩阵；根据所述单字图像的坐标信息从标准库提取OCR识别结果中该坐标位置对应的单字的标准特征矩阵，逐个计算所述单字的第一特征矩阵与对应的标准特征矩阵的相似度，若计算结果在设定的相似度阈值范围内，则认为该单字识别正确。本发明优点：核验OCR识别结果，大幅提高识别结果的精准度，减少人工工作量。

技术领域

本发明涉及一种基于深度学习的确认OCR识别结果可靠性的方法及介质，属于光学字符识别领域。

背景技术

随着科学技术的发展，以及电子化的需求，越来越多的光学图像需要进行文本识别录入计算机中。在财税、经济侦查等领域，工作人员需要花费大量时间仔细录入票据信息，并且繁琐重复的录入工作极易出现错误，为了减少工作人员的繁琐录入工作和错误的发生，基于OCR识别的录入算法变得越来越重要。

虽然目前很多OCR识别的准确率很高，甚至准确率可达99％，但是在税务金融等领域1％的识别错误率仍是不可接受的，且错误发生点的不确定，使得OCR无法预先得知会在什么位置识别错误，识别完成后并不知道所识别的结果是否是真实值。为了达到高于99.95％的精度要求，不得不使用人工进行二次、甚至三次的信息录入核对工作，现有的OCR识别结合人工审核的流程如图1所示，这样浪费了大量人力资源，大大的提高了录入成本。为了减少人工干预的工作量，研发一种可以确定OCR识别结果中错误点的方法具有极其重要的意义。

发明内容

为了解决上述技术问题，本发明提供一种基于深度学习的确认OCR识别结果可靠性的方法，能够核验OCR识别结果的正确性，从而大幅提高OCR识别结果的精确率，并能够定位出错位置。

本发明的技术方案一如下：

一种基于深度学习的确认OCR识别结果可靠性的方法，包括如下步骤：

将OCR识别得到的票据影像按设定的字段进行分割，生成多个字段碎片图像，同时生成各所述字段碎片图像在所述票据影像上的坐标信息；对各所述字段碎片图像进行单字分割，生成单字图像和单字图像在所述票据影像上的坐标信息；对所述单字图像进行特征提取，得到单字的第一特征矩阵；根据所述单字图像的坐标信息从标准库提取OCR识别结果中该坐标位置对应的单字的标准特征矩阵，逐个计算所述单字的第一特征矩阵与对应的标准特征矩阵的相似度，若计算结果在设定的相似度阈值范围内，则认为该单字识别正确，否则认为该单字识别错误。

更优地，所述字段碎片图像的单字分割，生成单字图像的步骤具体为：所述字段碎片图像通过深度学习模型进行特征提取，转换为字段碎片图像的特征矩阵，通过窗口截取字段碎片图像特征矩阵，得到单字的第二特征矩阵，根据该第二特征矩阵在字段碎片图像特征矩阵中的位置，确定该第二特征矩阵对应的单字坐标信息，根据该单字坐标信息从所述字段碎片图像中分割出单字图像。

更优地，采用不同尺度且宽高比例为1:1的窗口分别遍历截取字段碎片图像的特征矩阵，和/或采用不同尺度且宽高比例为1:2的窗口分别遍历截取字段碎片图像的特征矩阵。

更优地，将所述窗口截取到的特征矩阵输入所述深度学习模型进行判断，所述深度学习模型通过预设的置信度阈值进行筛选，输出目标特征矩阵。

更优地，所述目标特征矩阵通过非极大值抑制合并重复的区域，得到单字的第二特征矩阵，同时根据该第二特征矩阵在字段碎片图像特征矩阵中的位置，确定该第二特征矩阵对应的单字坐标信息，根据该单字坐标信息从所述字段碎片图像中分割出单字图像。

更优地，核验出该单字识别错误，根据该单字图像的坐标信息定位该单字图像在所述票据影像中的位置，并提示用户。