[发明专利]基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题智能批阅系统

说明书

本发明公开了一种基于MixNet‑YOLOv3和卷积递归神经网络CRNN(Convolutional Recurrent Neural Network)的算术题智能批阅系统，能够自动地识别试卷中每道算术题的含义并做出判断，以减轻传统手工批阅试卷带来的人力和时间成本，从而提高教学效率。智能批阅系统主要分为检测和识别两大模块。鉴于算术题分布密集、字体多变的特点和网络轻量化的需求，检测模块采用多尺度语义和定位特征融合的MixNet‑YOLOv3网络来实现算术题的边框信息提取；而在识别模块，前一模块抽取的算术题将通过基于联结时序分类CTC(Connectionist Temporal Classification)解码机制的卷积递归神经网络CRNN网络，得到算术题目的语义信息；最后通过算术逻辑运算来判断每道算术题目的正确与否。本发明创建的系统能够胜任移动设备端的算术题批阅任务。

技术领域

本发明涉及一种基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题智能批阅系统，属于计算机视觉及自然语言处理交叉的文本检测和识别领域。

背景技术

随着科技水平的进步和教育产业的变革，传统阅卷过程中的效率低、质量和公平无法保证的问题日益凸显，一定程度阻碍了整体教学水平的提高。与此同时，数字图像处理以及计算机视觉技术的飞速发展，让人们将目光逐渐投向智能阅卷，智能阅卷能够极大地提高阅卷的效率，降低教师的工作负担，节省家长的时间，优化教育资源的配置。

以中小学生的算术题为例，考虑到算术题一般是由印刷体跟手写体构成，出版商的印刷体样式、学生的手写体风格层出不穷，还存在一定程度的涂改，基于图像处理和机器学习的传统的光学字符识别OCR(Optical Character Recognition) 技术无法满足复杂场景的检测任务。

典型的 OCR 技术路线包括以下三个部分：图像预处理、文本检测和文本识别，其中影响识别准确率的技术瓶颈是文本检测和文本识别，而这两部分也是 OCR 技术的重中之重。在传统 OCR 技术中，图像预处理通常是针对图像的成像问题进行修正，常见的预处理过程包括：几何变换、畸变校正、去除模糊、图像增强和光线校正等。文本检测即检测文本的所在位置和范围及其布局，通常也包括版面分析和文字行检测等，文字检测主要解决的问题是哪里有文字，文字的范围有多大。文本识别是在文本检测的基础上，对文本内容进行识别，将图像中的文本信息转化为文本信息，文字识别主要解决的问题是每个文字是什么。

发明内容

发明目的：为了解决上述问题，本发明提出一个端到端的算术题批阅系统，系统主要涵盖检测跟识别两个分支，首先采用YOLOv3算法检测每道题目的边界，通过权重分配使网络更容易学习水平的边界，并在不损失精度的前提下将提取网络替换为更为轻量化的MixNet网络；在识别部分，采用精度跟效率结合的卷积递归神经网络CRNN网络，通过卷积神经网络CNN(Convolutional Neural Networks)和长短期记忆网络LSTM(Long Short-TermMemory)的组合使网络准确的学习到题目的语义信息，最后通过算术逻辑判断对错和返回正确答案。

技术方案：本发明技术方案实现包括如下几个步骤：

（1）对原始检测数据集进行预处理，通过数据增强手段扩展样本的泛化性，同时利用K均值聚类算法生成适应该场景的先验框，用于检测网络的训练；

（2）将整张图像输入到轻量级MixNet网络模型中，进行图像定位和语义特征的提取，得到表示图像全局信息的多尺度特征；

（3）利用特征金字塔网络FPN(Feature Pyramid Networks)特征融合技术，融合不同尺度的特征，分别输送到对应的YOLOv3预测模块中，并根据两组先验框分别对产生的特征图进行计算，基于最佳的先验框来预测，并根据预测出的坐标、置信度、类别信息与标签信息进行损失函数的计算，通过迭代训练得到更为精确的检测模型；

（4）根据检测网络输出的算术题边框，将抽取的算术题和标注的文本信息组合起来，构成识别模块的数据集；