[发明专利]一种基于Mask R-cnn算法和类型分割的扫描文件版面分析方法

说明书

本发明提出了一种基于Mask R‑cnn算法和类型分割的扫描文件版面分析方法，属于深度学习领域。该方法主要采用类型分割的技术方案，以Mask R‑cnn算法为基础进行实现，目的是为了提高版面分析的准确率。具体包括如下步骤；将扫描的文件彩色图像作为输入，首先进行表格识别并分割，分割表格后的图像再作为输入，进行插图的识别并分割，然后去除红章，最后对去除表格、插图和红章后的图像进行标题识别，未识别部分作为文本部分输出。在复杂版面的扫描文件中，该方法解决了自顶向下、自底向上和综合型方法的准确率不高的问题，从而对图像分类、文本处理以及OCR等技术能够进一步的优化，最终提高了扫描文件版面分析准确率。

技术领域

本发明属于深度学习领域，具体涉及一种基于Mask R-cnn算法和类型分割的扫描文件版面分析方法。

背景技术

对扫描文件的版面进行分析研究具有重要意义。首先，扫描文件有着便于携带、方便保存、可阅读但不可随意修改等优点，因此扫描文件被广泛使用。其次，扫描文件的电子化可以很好的将资料保存下来，而扫描文件版面分析是构成扫描文件电子化的重要步骤，正确有效的扫描文件版面分析可以很大程度上确保精准度。与此同时，随着图像分类、文本处理等技术的不断涌现，版面分析技术也变得愈加重要，因此如果想要对扫描文件中的文本、插图进行智能化处理，版面分析是解决这一问题必不缺少的步骤。

版面分析有自顶向下、自底向上和综合型三种。自顶向下从文档图像整体开始，采用相关算法从整体页面中分割出不同的区域，该算法适用于版面较为规范简明的文档图像。自底向上的算法从局部信息开始通过连通域等方式逐步合并成为不同的文档区域，其算法适用于较为复杂的版面分析，但算法效率常常较低，且难以形成统一的合并规则。

基于上述两种算法的优缺点，综合型算法将自顶向下和自底向上的两种算法相互融合，也是版面分析中最为常用的方法。Yang提出了基于纹理的分析方法，根据文档图像中明显的行间隔和图像表格的线条纹理特征对文档图像进行分析。Tian等人根据连通区域距离特征和连通区域尺寸大小横向纵向排列以及参考行等特征，进行相应的组合，提出了一种自底向上和自顶向下相结合的混合型。但是对于扫描文件这种页面比较复杂的类型，很难较好的提取出扫描文件中的各元素，比如含有红章、不规则表格等，这些区域很难进行划分，准确率不高。因此，需要一种能够更加有效的对扫描文件进行识别和分类的方法。

Mask R-cnn是用来检测图像中的对象的一种算法，同时为每个实例生成高质量的分割掩码。这种方法称为掩模区域卷积神经网络，它通过在已有的分支上增加一个分支来预测并行中的目标掩模，从而更快地扩展了区域卷积神经网络。然而使用Mask R-cnn算法来处理版面分析多分类问题，同时识别出所有的表格、插图、标题、文本准确率较低，究其原因，Mask R-cnn算法用来多目标检测存在一定的问题。

发明内容

本发明针对扫描文件在版面分析方面准确率不高、损失率较大的问题，提出了一种基于Mask R-cnn算法和类型分割的扫描文件版面分析方法，该方法的核心在于提出一种新的方法：类型分割法，并基于Mask R-cnn算法和该类型分割法对扫描文件版面进行分析，对表格、插图、标题、文字、红章部分分别进行精准识别。

为了实现上述目的，本发明采用如下技术方案：

一种基于Mask R-cnn算法和类型分割的扫描文件版面分析方法，将扫描的原始彩色图像作为输入，首先对图像中的表格进行识别并分割，分割表格后的图像作为输入，进行插图的识别并分割，然后去除图像中的红章，最后将去除表格、插图和红章后的图像进行标题识别，未识别部分作为文本部分输出，具体包括如下步骤：

步骤1、定义载入接口和Mask R-cnn模型，进行模型训练；

步骤2、实时获取扫描文件原始彩色图像，并进行预处理；

步骤3、基于训练完成的模型进行分类识别，首先基于表格识别模型识别彩色图像中的表格区域，提取表格，输出表格和提取表格后的图像1；