[发明专利]基于深度学习的试卷卷头学生信息自动检测方法

权利要求书

1.基于深度学习的试卷卷头学生信息自动检测方法，其特征在于，包括以下步骤：

S1、数据获取，使用扫描仪对多张学生试卷的正面进行扫描得到多张试卷全图，对试卷图像的卷头位置进行裁剪，得到多张试卷卷头图像；

S2、标注数据，对试卷卷头图像进行人工标注获取学生信息的检测框，并划分训练集和测试集；

S3、数据合成，通过合成数据扩充数据量；具体包括：

S31、对人工标注的真实数据进行数据统计分析，包括试卷卷头图像的宽高比、标注框的宽高比和大小以及标注框之间的距离；

S32、根据数据统计结果，设置生成图像的宽高、文本间距，自动化生成包含待填项目但还没有填写学生信息的试卷卷头图像，同时存储待填项目类别和坐标；

S33、在互联网上爬取学生信息的语料，包括学生姓名、班级以及学校，过滤长度大于10的文字信息，据信息所属的项目将其存入不同的json文件中，则每个json文件构成一个语料库，包含不同项目的学生信息；

S34、下载中文手写数据集，作为后续粘贴手写体单字图像的图像库；

S35、对试卷卷头的每一个待填项目，分别从对应的项目语料库中随机选取一条信息，对该条信息的每一个文字，图像库中都有与之对应的不同人手写的一组单字图像，从这组对应的图像中随机挑选一张，将该单字图像有序粘贴到试卷卷头图像中的待填项目右侧；

S36、对试卷卷头图像进行仿射变换、添加椒盐噪声、旋转以及高斯模糊；

S37、基于步骤S31至S36合成多张图像，与人工标注的真实数据合并构成训练集；

S4、构造文本检测器，使用卷积神经网络构造文本检测器，文本检测器包括特征提取网络、候选文本区域生成网络、区域特征采样模块以及文本定位网络，并且对候选文本区域生成网络和文本定位网络设计不同的损失函数；

S5、训练文本检测器，采用预训练模型，设置训练相关参数，将带标注的数据输入到文本检测器中训练；

S6、将测试数据输入训练好的文本检测器进行检测，得到学生信息的检测结果和概率。

2.根据权利要求1所述的基于深度学习的试卷卷头学生信息自动检测方法，其特征在于，所述步骤S2具体包括：

采用标注软件，人工标定学生信息的水平矩形框，包括位置和类别的标定；

将水平矩形框左上角的坐标以及宽高数据记录于文件中；

将图像随机划分为训练集和测试集。

3.根据权利要求1所述的基于深度学习的试卷卷头学生信息自动检测方法，其特征在于，所述特征提取网络具体为：

特征提取网络采用残差神经网络中的ResNet50和双向特征金字塔网络BiFPN，所述ResNet50通过捷径连接的方式既提高了特征提取能力，又缓解了网络退化问题；

所述BiFPN对提取到的不同层的特征同时进行自底向上和自顶向下的融合，最终得到多通道特征图F1。

4.根据权利要求3所述的基于深度学习的试卷卷头学生信息自动检测方法，其特征在于，所述候选文本区域生成网络具体为：

将多通道特征图F1输入到候选文本区域生成网络，得到候选文本区域R；

所述候选文本区域生成网络包括二分类网络以及检测框回归网络；

在二分类网络中，将F1输入卷积核大小为3*3，步长为1的卷积层256C中，输出256个通道的特征图F2；接着将特征图F2输入卷积层2kC中，卷积核大小为1*1，步长为1，输出通道数为2k；

在检测框回归网络中，将F1输入卷积层256C中进行特征提取得到特征图F2后输入到卷积层2kC后得到4k个坐标回归结果；

所述特征图F1每个像素点都预定义了k个不同尺寸和比例的锚点anchor，基于anchor回归可得到映射回原图的k个候选区域，每个候选区域包含2个分类置信度，对应二分类网络的2k个输出。

5.根据权利要求4所述的基于深度学习的试卷卷头学生信息自动检测方法，其特征在于，所述区域特征采样模块具体为：

给定整图的特征图F1和候选文本区域R，将F1的对应区域划分m*m个部分，对每个部分采样一个特征向量得到m*m尺寸的局部区域特征图F3。