[发明专利]一种基于度量学习的少样本文档版面分析方法

说明书

本发明公开了一种基于度量学习的少样本文档版面分析方法，通过提取的文档图像的原始特征图来构建不同区域的位置注意力特征以及通道注意力特征，利用卷积网络的融合能够充分利用这些特征图中不同区域的表征特征；同时，以融合得到的表征特征来进行原型构建，以及利用分割得到的结果采用对齐操作，从而达到利用少量的数据来进行文档内容分割，同时提高分割精度。

技术领域

本发明属于计算机视觉中的语义分割技术领域，更为具体地讲，涉及一种基于度量学习的少样本文档版面分析方法。

背景技术

在移动互联时代，电子文档的获取和分享变得十分方便，对文档版面进行分析能够有效的提取具有价值的信息。随着文档的数量不断增多，文档的内容更加多样，对文档的版面内容进行分析成为语义分割的新趋势。对文档版面分析目标是将文档图像中的不同区域进行分类，得到具有不同标签信息的分割结果。

现有的对文档版面进行分析结果比较好的方法是基于深度网络的语义分割，以深度网络为基础的语义分割方法主要有两种基本的网络结构：

1)全卷积网络FCN：该结构不包含全连接层，使得网络能接受任意尺寸的图像作为输入。同时使用了池化层来减少特征图的尺寸来增大感受野，以及能够增大特征图尺寸的反卷积层，用以提高结果的准确性。但是由于池化层减小了特征图的尺寸使得网络会丢失部分空间信息；

2)空洞卷积dilated convolution：空洞卷积不使用池化层，而是通过增大卷积网络的卷积核来变相地减小特征图的尺寸，同时不会丢失图像的空间信息。

虽然基于上述两种方法以及衍生了许多新的效果显著的深度语义分割网络，但是这些网络都存在同一个严重的问题：这些网络都需要大量的精细标注的数据用来训练。但是训练数据需要的是逐像素的标记，这使得训练数据的获取是一个十分耗时费力的事，尤其是在文档内容比较复杂的情况下。一种延缓的办法是使用弱监督学习进行训练，但是任然需要许多的弱标记的训练数据。

少样本文档版面分析采用的方法主要受到元学习和少样本学习的启发，目标是在具有很少的精细标记文档样本的前提下进行文档分割。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于度量学习的少样本文档版面分析方法，通过度量学习方法降低文档版面分析时需要的大量数据依赖，同时提高文档内容分割精度。

为实现上述发明目的，本发明一种基于度量学习的少样本文档版面分析方法，其特征在于，包括以下步骤：

(0)、构建训练集

从现有的多个文档中下载大量的support图像与query图像，其中，每K张support图像和一张query图像作为单个训练任务，在每一张support图像中，标记有每个位置与给定掩码的配对组合，通过给定掩码值标记出support图像中每个位置的类别；在每一张query图像中，同样标记有每个位置与给定掩码的配对组合，通过给定掩码值标记出query图像中每个位置的类别；

(1)、特征提取

(1.1)、随机选取一个训练任务输入至卷积神经网络；

(1.2)、K张support图像输入后，利用卷积神经网络提取每一张support图像的原始特征图，记为其中，s代表support图像，k＝1,2,…,K，C、H、W分别表示原始特征图的通道数、高度和宽度；

(1.3)、单张query图像输入后，利用卷积网络提取单张query图像的原始特征图，记为其中，q代表query图像；

(2)、生成带有位置注意力的特征图和带有通道注意力的特征图；

(2.1)、将每一张原始特征图进行一次reshape操作，使的维度由C×H×W转换为C×(HW)，记新的特征图为