[发明专利]一种基于Mask R-cnn算法和类型分割的扫描文件版面分析方法

权利要求书

1.一种基于Mask R-cnn算法和类型分割的扫描文件版面分析方法，其特征在于，将扫描的原始彩色图像作为输入，首先对图像中的表格进行识别并分割，分割表格后的图像作为输入，进行插图的识别并分割，然后去除图像中的红章，最后将去除表格、插图和红章后的图像进行标题识别，未识别部分作为文本部分输出，具体包括如下步骤：

步骤1、定义载入接口和Mask R-cnn模型，进行模型训练；

步骤2、实时获取扫描文件原始彩色图像，并进行预处理；

步骤3、基于训练完成的模型进行分类识别，首先基于表格识别模型识别彩色图像中的表格区域，提取表格，输出表格和提取表格后的图像1；

步骤4、然后识别图像1中的插图区域，提取插图，输出插图和提取插图后的图像2；

步骤5、去除图像2中的红章，输出得到图像3；

步骤6、最后识别图像3中的标题并标注，未标注部分为文本，输出标注标题后的图像。

2.根据权利要求1所述基于Mask R-cnn算法和类型分割的扫描文件版面分析方法，其特征在于，所述步骤1的具体过程如下：

步骤1.1、对于定义载入接口，首先对获取到的历史数据集进行重写操作，对数据集进行打乱排序，划分训练集以及测试集，其次获取图像和mask的映射关系，将mask转换为Tensor，获取到mask掩码的坐标以及标签，用于图像分割；最后，对数据集中的图像进行增强处理，并将原始图像转换为PyTorch张量；

步骤1.2、对于定义Mask R-cnn模型，包括获取模型架构以及模型的输入特征数，将输出模型的特征类别和mask类别的参数均修改为2；还包括定义训练和验证数据加载器，使用辅助函数获取Mask R-cnn模型；

步骤1.3、对于识别表格、插图、标题以及文本采用不同的数据集，分别训练出识别表格、插图、标题的模型，最后保存训练好的模型参数，此时训练获得三个模型：表格识别模型、插图识别模型、标题识别模型，每一个识别模型均采用Mask R-cnn进行训练得到，并选用残差网络ResNet101作为Mask R-cnn的主干特征提取网络；

模型训练中采用Adam优化器进行优化，从而调整模型更新权重和偏差参数θ_t，θ_t由公式(1)得到，

其中，θ_t-1表示上一次迭代得到的偏差参数，α表示默认学习率，m_i表示梯度均值，v_t表示梯度平方的指数移动平均数，∈＝10^-8；

其中，设置学习速率计划程序每3个epoch将学习速率降低10倍；

在模型训练期间对于每一个RoI接口定义一个多任务损失函数L，通过调用优化器不断更新学习速率；训练结束后，保存训练好的模型参数；

L由公式(2)得到，

L＝L_cLs+L_Box+L_mask (2)

其中，L_CLS表示分类损失，L_BOX表示回归框损失，L_mask表示新加入的mask损失。

3.根据权利要求1所述基于Mask R-cnn算法和类型分割的扫描文件版面分析方法，其特征在于，所述步骤2中，对扫描文件原始彩色图像进行图像增强，并将增强后的图像换为RGB三通道格式。