[发明专利]一种试卷版面公式自动检测的方法

说明书

本发明涉及图像目标检测技术领域，且公开了一种试卷版面公式自动检测的方法，该系统基于ssd网络架构设计，主要包含仿真数据生成、基于mobilenetv2网络的特征提取、基于advance east网络的特征融合、基于ssd网络的分层预测部分；该试卷版面公式自动检测的方法针对扫描及拍照试卷这种特殊的文档图像数据，提出将mobilenetv2、advance east和ssd算法结合的整体解决方案，整体基于ssd网络架构，将原有主干网络替换成更加轻量级的mobilenetv2网络，并引入advance east算法中的特征融合方式，最后，从融合后的特征图上，分阶段从不同层中预测大小不同的目标物体。

技术领域

本发明涉及图像目标检测技术领域，具体为一种试卷版面公式自动检测的方法。

背景技术

随着以卷积神经网络为基础的深度学习技术在计算机视觉领域的不断应用，其在图像目标检测、OCR、语音识别等场景取得了巨大进展。以目标检测为例，当前自然场景下的目标检测已经广泛应用在行人检测、人脸检测、自动驾驶等方面，尤其在目标物体具有特定形体特征场景检测准确率较高。然而，在特定领域目标检测中却面临诸多问题，如专门针对试卷的公式检测，试卷中除了常用文字行信息外，往往包含大量特殊符号、公式、图表等，对这些信息的有效定位和识别有利于将试卷自动转录成Word版本，方便存储，并加深计算机对试卷内容的分析理解。此外，现有的通用OCR识别无法对公式进行识别，如果能够准确检测出试卷中出现的公式，将公式单独送入公式识别引擎识别，再将OCR和公式识别结果整合，便能很好地完成试卷自动转录任务。

现有试卷版面公式自动检测的方法大都是通用目标检测方法直接在试卷中进行公式检测，然而效果并不理想。因为公式相对试卷本身是小目标物体，而现有目标检测方法，如yolo、faster rcnn等检测不到小目标物体。而且在试卷公式检测中，公式存在的形式各异，例如化学试卷中的二氧化碳、氢气、氧气等符号表示，数学试卷中的微积分、高阶函数等符号表示，如果手动标注这类样本需要耗费极大的人力，工作效率极低。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种试卷版面公式自动检测的方法，解决了现有目标检测算法在试卷版面公式自动检测中对公式这种小目标物体检测性能不佳和手动标注公式数据耗时的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种试卷版面公式自动检测的方法，该系统基于ssd网络架构设计，主要包含仿真数据生成、基于mobilenetv2网络的特征提取、基于advance east网络的特征融合、基于ssd网络的分层预测部分。

优选的，所述主要特征具体描述为：主干网络mobilenetv2用于从输入图片中提取符合公式检测的特征，特征融合关注将不同大小特征图上的有用信息合并成一个特征图，分层预测参照ssd原有实现，在融合后的特征图上产生多个不同大小feature map，从而单独预测不同大小的目标物体。

优选的，所述仿真数据生成具体描述为：使用计算机程序设计语言自动生成和真实样本高度相似的训练数据，通过程序控制，在仿真数据过程中，随机为文字行信息添加公式，并标记其添加位置信息。

优选的，所述特征提取具体描述为：将带公式的试卷题目通过图片形式传入mobilenetv2网络，网络从该图片中提取特征后得到输出特征图。该过程去掉原始网络中最后两层conv2d和avgpool层，最后网络保留第3、第4、第5、第6和第7个bottleneck输出特征图作为后续融合使用。这5个不同状态保留的特征图大小不同，分别对应大小不同目标的预测，同时，将最后一个bottleneck块的输出通道数降为16，从而降低最后一层计算量。