[发明专利]文档结构识别方法、文档结构识别的模型训练方法和装置

权利要求书

1.一种文档结构识别方法，所述方法包括：

获取文档图像；

从所述文档图像中选取候选区域；

对所述候选区域进行图像特征提取，得到图像特征；

对所述候选区域中包含的字符进行语义识别，得到语义特征；

根据所述图像特征和所述语义特征进行分类，以确定所述候选区域所属的文档结构类型。

2.根据权利要求1所述的文档结构识别方法，其中，所述根据所述图像特征和所述语义特征进行分类，以确定所述候选区域所属的文档结构类型，包括：

将所述候选区域的所述图像特征与所述候选区域的所述语义特征拼接，得到所述候选区域的合成特征；

根据所述候选区域的合成特征进行分类，以确定所述候选区域所属的文档结构类型。

3.根据权利要求1所述的文档结构识别方法，其中，所述对所述候选区域进行图像特征提取，得到图像特征，包括：

对所述候选区域中每一像素单元识别内容属性特征；

根据所述候选区域中的每一像素的像素值和所述内容属性特征，生成输入图像，其中，所述输入图像中的各像素点均具有多个通道，每一通道用于指示所述候选区域中对应像素的所述像素值或所述内容特征；

对所述输入图像进行图像特征提取，以得到所述图像特征。

4.根据权利要求3所述的文档结构识别方法，其中，所述对所述候选区域中每一像素单元识别内容属性特征，包括：

对所述候选区域进行二值化，以从所述候选区域中确定前景部分和背景部分；

根据各像素单元属于所述前景部分或所述背景部分，生成各像素单元的所述内容属性特征。

5.根据权利要求3所述的文档结构识别方法，其中，所述对所述候选区域中每一像素单元识别内容属性特征，包括：

对所述候选区域进行二值化，以从所述候选区域中确定前景部分和背景部分；

采用目标文本粒度对应的结构元尺寸，对二值化的候选区域进行闭运算，以扩展所述前景部分；其中，所述目标文本粒度包括字、句子和段落中的至少一个；

对所述前景部分进行轮廓检测，以得到所述目标文本粒度的包围框；

将处于所述包围框内的像素单元确定为属于所述目标文本粒度，将未处于所述包围框内的像素单元确定为未属于所述目标文本粒度；

根据各像素单元属于的目标文本粒度，生成各像素单元的所述内容属性特征。

6.根据权利要求1-5任一项所述的文档结构识别方法，其中，所述从所述文档图像中选取候选区域，包括：

采用滑动检测框从所述文档图像中选取多个所述候选区域；

对应地，在根据所述图像特征和所述候选区域的所述语义特征进行分类，以确定所述候选区域所属的文档结构类型之后，还包括：

若在所述文档图像中连续分布的至少两所述候选区域属于同一所述文档结构类型，则对所述至少两候选区域合并，得到合并区域，以及所述合并区域的文档结构类型。

7.根据权利要求1-5任一项所述的文档结构识别方法，其中，在所述对每一所述候选区域中包含的字符进行语义识别，得到语义特征之前，还包括：

获取所述文档图像对应的文档内容；

根据所述候选区域在所述文档图像中的相对位置，查询所述文档内容中的所述相对位置，以得到所述候选区域中包含的字符。

8.一种用于文档结构识别的模型训练方法，所述方法包括：

获取训练样本集；

采用所述训练样本集，对目标检测模型进行训练，其中，所述目标检测模型，用于从文档图像中选取候选区域，对所述候选区域进行图像特征提取，得到图像特征，对所述候选区域包含的字符进行语义识别，得到语义特征，以及根据所述图像特征和所述语义特征进行目标检测，以确定所述候选区域所属的文档结构类型。