[发明专利]基于深度学习的题目分割方法、装置、设备和介质

说明书

本发明实施例涉及题目检测技术领域，公开了一种基于深度学习的题目分割方法、装置、设备和介质。该方法包括：创建并训练基于深度学习的实例分割模型；获取输入图像，并对所述输入图像进行切分，形成目标图片；将所述目标图片输入所述实例分割模型，输出一个或多个包裹题目的多边形框坐标。实施本发明实施例，通过将深度学习中的实例分割算法引入到题目分割的应用中，可以适应多种非标准场景的题目分割任务，题目分割效果得到了极大的提高，显著提高了版面分析的效率和准确率。

技术领域

本发明涉及题目检测技术领域，具体涉及一种基于深度学习的题目分割方法、装置、电子设备和存储介质。

背景技术

目前针对文档(练习册、书本、试卷等等)题目的检测方案不多，主要有以下2种：

基于矩形框的目标检测类算法，在文档图片十分标准(尤其是扫描件)的情况下，一定程度上可以满足需求。但目前移动端(手机、平板)的产生的图片数据数量已经占据主流，通过手机或者平板拍照获取的文档图片普遍有不同程度的倾斜、扭曲、拱起、模糊等等，此时使用矩形框检测效果大打折扣，不光准确率容易受影响，而且分割出的题目容易带进干扰内容；

基于题号检测和OCR文本行检测相结合并融入规则的方法，使用题号确定题目上下范围，OCR检测得到的文本行确定左右边界，然后基于一定的规则确定目标题目范围。这样得到的题目轮廓比较粗略，当不存在题号或者题号漏检时，准确率非常低。

发明内容

针对所述缺陷，本发明实施例公开了一种基于深度学习的题目分割方法、装置、电子设备和存储介质，其可以自主适应各种文档的排版，良好地分割题目。

本发明实施例第一方面公开一种基于深度学习的题目分割方法，所述方法包括：

创建并训练基于深度学习的实例分割模型；

获取输入图像，并对所述输入图像进行切分，形成目标图片；

将所述目标图片输入所述实例分割模型，输出一个或多个包裹题目的多边形框坐标。

作为一种可选的实施方式，在本发明实施例第一方面中，创建并训练基于深度学习的实例分割模型，包括：

创建基于深度学习的实例分割初始模型，所述实例分割初始模型包括特征提取网络、区域候选网络、回归网络以及分割网络；

确定样本集并对所述样本集中每个样本图像绘制多边形包围框，每个多边形包围框包裹一个题目；

将每个样本图像分别输入所述实例分割初始模型中，通过反向传播算法对所述实例分割初始模型进行迭代训练，以调整实例分割初始模型的模型参数使得损失函数趋于收敛或小于第一预设阈值，最终得到训练后的实例分割模型。

作为一种可选的实施方式，在本发明实施例第一方面中，将所述目标图片输入所述实例分割模型，输出一个或多个包裹题目的多边形框坐标，包括：

利用所述特征提取网络提取所述目标图片的特征图；

将所述特征图输入区域候选网络，生成候选边界框；

利用所述回归网络对所述候选边界框进行分类和边框回归，得到初始预测边界框；

通过非极大值抑制算法对所述初始预测边界框进行过滤，得到最终预测边界框；

将所述最终预测边界框输入分割网络中，输出每个最终预测边界框对应的多边形框坐标。

作为一种可选的实施方式，在本发明实施例第一方面中，所述将所述特征图输入区域候选网络，生成候选边界框，包括：

利用设定大小的矩形框，采用所述矩形框不同的设定长宽比缩放滑动窗口，滑动窗口在所述特征图上滑动，对边界框进行预测，并将预测的矩形框映射到目标图片中，形成所述候选边界框；