[发明专利]一种基于深度学习的书脊文本识别方法、设备及存储介质

说明书

本发明公开了一种基于深度学习的书脊文本识别方法，包括：制作合成书脊、单字多字体和真实书脊数据集；基于CTPN模型对单本书脊进行文本检测；针对文本模糊特点搭建基于ResNet10的书脊文本识别模型STRNet；针对字体多样特点制作SK‑NNS分类器；基于我们制作的数据集对STRNet、SK‑NNS分类器进行训练；基于误识别概率点wp对STRNet，SK‑NNS模型进行集成，基于log_softmax预测概率对STRNet可能识别错的单字进行SK‑NNS二次识别；识别文本后处理使用自然语言处理技术进行词条语法纠错，保证识别准确率。STRNet能够提取更多的书脊文本特征，SK‑NNS能够识别不同字体的单字，两个模型优势互补，使得本方法在书脊文本识别场景的应用准确率更高。

技术领域

本发明涉及神经网络文本识别领域，尤其涉及一种基于深度学习的书脊文本识别方法、设备及存储介质。

背景技术

图书数字化是未来发展的趋势，但是数字图书代替不了纸质图书所带来的触碰质感，当前，纸质图书仍是图书资源的主要组成部分。但是百万级图书的常规性盘点工作需要耗费大量的人力物力成本，利用计算机视觉技术模拟人工识别能力是建设智能化图书馆的一个发展方向，对书脊进行高精度文本识别是其中一个重要子课题。传统用人工或者条形码对书脊文本进行识别的方式效率低、成本高、错误率高，近年来，基于深度学习的文本识别技术在文档图像分析与识别(DAR)、光学字符识别(OCR)、在线文字识别(Online HCR)领域取得了巨大的成功。与传统的书脊文本识别方式相比，基于深度学习的书脊文本识别方法在提升效率的同时具备更高的识别准确率。近年来与本发明相近的技术如下。

CRNN模型：此方法是一种通用模型，能够实现普通场景文本的识别，对于背景简单，排版规律单一的文本识别准确率较高，但针对书脊文本识别性能较差，因为书脊具备文本模糊、字体多样，排版规律不确定的特点，所以此方法对于模糊，字体不统一，排版复杂书脊会出现漏识别或错识别的情况。这就导致这个方法在书脊识别场景无法进行高精度的识别。

传统人工识别或条形码识别书脊文本的模式效率已然落后于科技的发展，本发明方法的提出能够有效提升书脊文本识别的准确率，对比目前的主流的场景文本识别方法，本发明具有明显优势。

发明内容

本发明是针对书脊的场景文本识别方法，书脊文本识别相对于车牌、票据、证件等的场景文本识别，书脊具备文本模糊、字体形式多样、排版多样、中英文横纵混排等的多种特点，使得书脊的识别难度比一般的场景文本识别难度更大。其中文本模糊，字体形态多样是造成书脊文本识别性能下降的主要原因。

本发明基于残差神经网络、双向长短时记忆网络、连续时序分类算法、K近邻单纯型分类算法设计出一种准确率更高，鲁棒性更强的新型书脊文本识别方法，利用残差神经网络来获取更多的文本特征，以克服模糊文本对模型性能的不良影响；利用K近邻单纯型算法对误识别的单字进行二次识别，以克服艺术字体及其他形态字体对模型识别性能的不良影响。

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开了一种基于深度学习的书脊文本识别方法，包括如下步骤：

步骤1，制作合成书脊训练集，单字多字体训练集；

步骤2，在图书馆采集真实书脊图片，使用CTPN模型对单本书脊进行文本检测与裁剪、标注得到真实书脊数据集；

步骤3，搭建ResNet10+BiLSTM+CTC的网络模型；

步骤4，搭建SK-NNS分类器模型；

步骤5，通过使用所述合成书脊训练集、单字多字体训练集及真实书脊数据集的数据集对搭建的所述网络模型及所述分类器模型进行训练；

步骤6，基于log_softmax预测概率对训练好的STRNet与SK-NNS分类器进行结合；

步骤7，识别结果进行语法纠错，将有语病的单词或者词组进行纠正。