[发明专利]一种基于深度学习的试卷自动转录系统及方法

说明书

本发明涉及图像目标检测与识别技术领域，且公开了一种试卷自动转录系统及方法，该系统基于多种深度学习技术，方法主要包含数据自动化生成、图表检测、文字行检测、公式检测、OCR识别和后处理等步骤；该系统提出一种针对试卷的试卷图像自动转录方法，本方法主要针对包含数学、语文、英语等常用试卷在内的拍照及扫描试卷图像数据，实现试卷内容从图像到Word之间的自动转录。本发明所述试卷自动转录是指，通过本方法，对扫描或拍摄等方式获取的试卷图像数据，将试卷内容自动转为Word版本的过程，从而实现试卷图片内容从图片到电子版之间的转换。

技术领域

本发明涉及图像目标检测与识别技术领域，具体为一种基于深度学习的试卷自动转录系统及方法。

背景技术

近年来，以卷积神经网络为基础的深度学习技术在计算机视觉领域取得突破性进展，极大提升了图像处理领域应用研究，尤其以目标检测和OCR(光学字符识别)为代表的技术在智能交通、视频监控、无人驾驶、AI教育等领域得到广泛应用。同时，深度学习技术在教育领域的应用也越来越多，如人脸识别、手写识别、拍图搜题等。

目前，深度学习技术在试卷文档分析中的应用并不多，其主要侧重于试卷文档分析、试卷图文分离、试卷笔迹鉴定等场景。而将试卷内容从图片自动转录为Word版本的电子版格式需求成为当前教师出题中的热点需求，实现一份拍照试卷的自动转录将有利于教师出题过程对题目重组与修改，极大节省教师出题时间，并提高工作效率。而在当前教学工作中，试卷转录工作依然需要人工干预，转录过程耗时、效率低下。基于以上现状，本方法借助深度学习技术实现试卷自动转录，提出一种基于深度学习的试卷自动转录系统及方法。

本方法根据试卷版面特点，集成多种现有深度学习技术来综合实现试卷自动转录任务，通过本方法可以方便的将以拍照或扫描等形式获取的试卷图片数据自动转录为Word格式，为后续教师出题、相似题目推荐和知识点判定提供支撑。

发明内容

(一)解决的技术问题

针对当前试卷转录存在的问题，本发明提供了一种基于深度学习的试卷自动转录方法，通过将深度学习技术引入到试卷转录中，实现了试卷转录从手动到自动化的过程，解决了试卷图片文档信息提取耗时问题，极大提高了试卷转录效率。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种基于深度学习的试卷自动转录的方法，其特征在于：该系统基于深度学习技术，主要包含数据自动化生成、图表检测、文字行检测、公式检测、OCR识别和后处理等步骤。

优选的，所述主要特征具体描述为：使用仿真程序自动化生成文字行检测、图表检测和OCR等算法需要的训练数据，图表检测负责将试卷中图片与文字区域分离，文字行和公式检测负责对试卷中所有文字行(公式)进行检测，OCR识别负责对检测到的文字行和公式进行识别，后处理过程将识别与检测结果重新排版并按试卷原样格式输出Word格式。

优选的，所述数据自动化生成具体描述为：使用程序设计语言自动生成和真实样本高度相似的训练数据，通过程序控制，在仿真数据过程中，随机生成指定数量的包含图表、文字行、公式等在内的各种版面试卷图片及label数据。

优选的，所述图表检测具体描述为：使用轻量级的SSD-Mobilenetv2网络作为图表检测网络，输入图像大小为224x224，使用Mobilenetv2作为主干网络提取特征，基于SSD的多层特征分别对图像中的图表区域进行检测，从而得到图表区域位置坐标信息。