[发明专利]文档结构识别方法、文档结构识别的模型训练方法和装置

说明书

本申请公开了文档结构识别方法、文档结构识别的模型训练方法和装置，涉及自然语言处理和深度学习技术领域，用于文档布局分析。具体实现方案为：获取文档图像，从文档图像中选取候选区域，对候选区域进行图像特征提取，得到图像特征，对候选区域中包含的字符进行语义识别，得到语义特征，根据图像特征和语义特征进行分类，以确定候选区域所属的文档结构类型。本申请中在进行文档结构类型识别时，在图像特征的基础上增加了语义特征，充分考虑了文档结构识别时语义信息的重要性，提高了文档结构类型判断的准确性。

技术领域

本申请涉及计算机技术领域，具体地，涉及自然语言处理和深度学习技术领域。

背景技术

现实生活中，为了便于对纸质文档的保存，通常会将纸质文档转化为图片形式的电子文档，电子文档在传输和保存方面有着明显的优势。

将文档转化为图像后，对文档布局进行分析，即对文档结构进行识别，是理解文档内容不可或缺的一步，众多后续任务，例如信息抽取、文本分类等都需要建立在精准的文档结构类型识别的基础之上。

发明内容

本申请提供了一种文档结构识别方法、文档结构识别的模型训练方法和装置，本申请中在进行文档结构类型识别时，在图像特征的基础上增加了语义特征，充分考虑了文档结构识别时语义信息的重要性，提高了文档结构类型判断的准确性。

本申请的第一方面，提供了一种文档结构识别方法，该方法包括：

获取文档图像；

从所述文档图像中选取候选区域；

对所述候选区域进行图像特征提取，得到图像特征；

对所述候选区域中包含的字符进行语义识别，得到语义特征；

根据所述图像特征和所述语义特征进行分类，以确定所述候选区域所属的文档结构类型。

本申请的第二方面，提供了一种用于文档结构识别的模型训练方法，所述方法包括：

获取训练样本集；

采用所述训练样本集，对目标检测模型进行训练，其中，所述目标检测模型，用于从文档图像中选取候选区域，对所述候选区域进行图像特征提取，得到图像特征，对所述候选区域包含的字符进行语义识别，得到语义特征，以及根据所述图像特征和所述语义特征进行目标检测，以确定所述候选区域所属的文档结构类型。

本申请的第三方面，提供了一种文档结构识别装置，所述装置包括：

图像获取模块，用于获取文档图像；

选取模块，用于从所述文档图像中选取候选区域；

提取模块，用于对所述候选区域进行图像特征提取，得到图像特征；

识别模块，用于对所述候选区域中包含的字符进行语义识别，得到语义特征；

检测模块，用于根据所述图像特征和所述语义特征进行目标检测，以确定所述候选区域所属的文档结构类型。

本申请的第四方面，提供了一种用于文档结构识别的模型训练装置，所述装置包括：

样本获取模块，用于获取训练样本集；

训练模块，用于采用所述训练样本集，对目标检测模型进行训练，其中，所述目标检测模型，用于从文档图像中选取候选区域，对所述候选区域进行图像特征提取，得到图像特征，对所述候选区域包含的字符进行语义识别，得到语义特征，以及根据所述图像特征和所述语义特征进行目标检测，以确定所述候选区域所属的文档结构类型。

本申请的第五方面，提供了一种电子设备，其特征在于，包括：

至少一个处理器；以及