[发明专利]一种基于深度学习的小学生口算题文本图片内容识别方法

说明书

本发明公开一种基于深度学习的小学生口算题文本图片内容识别方法，其针对小学生口算题图像识别，主要针对Densenet网络做了多分支改进，使其可以对图像特征进行充分的提取；同时，为了充分利用多分支Densenet网络所提取的特征，针对联合CTC‑Attention模型做了多分支改进，以提升对口算题的识别效果，解决了现有技术中，由于小学生口算题图像中同时含有印刷体数字和不规范的手写体数字，从而导致采用传统的识别方法准确度有限的问题。

技术领域

本专利属于文本图像处理技术领域，具体涉及一种基于深度学习的小学生口算题文本图片内容识别方法。

技术背景

机器视觉技术发展至今，已被广泛用于完成各种难以手动执行的复杂任务，并取得非凡的成就。为了充分利用该技术，教育领域适时出现了各种产品。近年来，出现了一类被广泛使用在作业或试卷智能批改的应用程序，它们可以通过上传照片来自动批阅小学生的数学口算题，文本识别模块作为这类应用程序最为核心的的部分，其准确率将直接影响到批阅的效果，是良好用户体验的根基。虽然现阶段智能批改在口算作业批改方面取得了一定的成绩，但总的来说还处在发展初期，还面临与人工批改的一致性较低、手写识别的准确较低等问题。

小学生的口算题混合了印刷体题目部分和手写体答案部分，目前现有技术中采用的识别方法为对印刷体和手写体进行分离，再交由对应的识别模块进行分别识别。

考虑到口算题的题目与答案部分存在一定的逻辑运算关系，而最终批阅的结果仅需要验证逻辑运算关系是否正确，由于图像中同时含有的小学生手写字符可能存在书写不规范的问题，例如学生的试卷、作业上出现涂改、污渍、字体不规范、书写出现粘连或重叠的情况时，采用传统的识别方式，其识别准确性较低，且现有技术中的识别模型结构均过于复杂，往往导致过拟合，使其在预测未知数据时的泛化能力较差。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

为克服现有技术的缺陷，本发明的目的在于公开一种基于深度学习的小学生口算题文本图片内容识别方法，其针对小学生口算题图像识别，解决了现有技术中，由于小学生口算题图像中同时含有印刷体数字和不规范的手写数字，从而导致采用传统的识别方法准确度有限的问题；本发明实现了小学生口算题图像识别快速、准确的效果，以便于后续对口算题计算结果的快速判断。

为尽可能多的提取图像的特征以达到提升识别准确度的效果，本发明技术方案采用一种多分支改进后的Densenet结构，这种结构可以提取出输入图像的高中低维特征，并输出不同解析的特征向量；同时，为了充分利用这些多分支特征，本发明对联合CTC-Attention结构也做了多分支改进。

鉴于上述问题，本发明提供一种基于深度学习的小学生口算题文本图片内容识别方法，具体包括：

步骤一：使用多分支结构改进了的Densenet网络对输入的口算题图像进行特征提取，在除最后一个的每个密集块(Dense Block)后的卷基层之后拓展此多分支结构，以使该网络提取的特征尽可能的涵盖高中低维度特征，并输出三个不同尺寸的输出特征，其中，两个输出特征为多分支结构所提取的输出特征，标记为F2和F3，一个输出特征为正常的Densenet网络所提取的输出特征，标记为F1；

因为低维度特征相对高维度特征拥有更多的位置信息，对提升模型识别能力具有有益效果，采用多分支结构，以尽可能多的提取出输入的口算题图像的高中低维特征；