[发明专利]固定版面证件结构化信息提取方法、装置、设备及介质

权利要求书

1.一种固定版面证件结构化信息提取方法，其特征在于，所述方法包括：

获取目标证件图像；

根据所述目标证件图像的类型选择对应的实例分割模型；

通过所述实例分割模型对所述目标证件图像中多个待识别的文本行进行实例分割，获取与所述多个待识别的文本行各自对应的分割实例；

通过预设文字识别模型识别所述待识别的文本行的分割实例，获得所述目标证件图像中的结构化信息。

2.根据权利要求1所述的方法，其特征在于，在所述获取目标证件图像的步骤前，还包括：

根据实例分割模型对应的证件类型，获取属于所述证件类型的多个证件的训练样本，并对所述训练样本中各图像的待识别的文本行进行实例分割标注；

选择与所述实例分割模型匹配的损失函数和优化器，并将所述损失函数和优化器与所述实例分割模型的输出层连接；其中，不同的实例分割模型匹配不同的损失函数和优化器；

通过所述训练样本、所述损失函数和所述优化器对所述实例分割模型进行训练，直到所述实例分割模型的损失收敛结束。

3.根据权利要求2所述的方法，其特征在于，在所述通过所述训练样本、所述损失函数和所述优化器对所述实例分割模型进行训练，直到所述实例分割模型的损失收敛结束的步骤后，还包括：

根据所述实例分割模型的对应的证件类型，获取属于所述证件类型的多个证件的测试样本；

用所述测试样本对已训练的所述实例分割模型进行测试，获取测试通过率；

若所述测试通过率大于预设阈值，则不再对所述实例分割模型进行训练；

若所述测试通过率小于等于所述预设阈值，则用所述训练样本继续对所述实例分割模型进行训练，直到所述实例分割模型的测试通过率大于预设阈值时结束。

4.根据权利要求1所述的方法，其特征在于，所述目标证件图像的类型是通过以下方式获得的：

从本地获取第一用户输入的与所述目标证件图像对应的类型标识；

根据所述类型标识确定目标证件图像的类型。

5.根据权利要求1所述的方法，其特征在于，所述目标证件图像的类型是通过以下方式获得的：

获取所述目标证件图像所携带的类型信息；

对所述类型信息进行解析，得到所述目标证件图像的类型。

6.根据权利要求1所述的方法，其特征在于，所述目标证件图像中包括目标证件的图像区域；在获取目标证件图像之后，所述方法还包括：

将所述目标证件的图像区域变换到所述目标证件图像的预测区域中；

若所述目标证件的图像区域的任一边不与所述预测区域的对应边贴合，则对所述目标证件图像进行校正，以使所述目标证件的图像区域的各边与所述预测区域的对应边贴合；

将校正后的目标证件图像发送到所述实例分割模型中进行待识别的文本行的实例分割。

7.根据权利要求2所述的方法，其特征在于，所述根据实例分割模型对应的证件类型，获取属于所述证件类型的多个证件的训练样本的步骤，包括：

对所述训练样本中的各图像进行复制，获得多个复制后的图像；

将所述多个复制后的图像进行数据增强，获得多个数据增强后的图像；

将所述多个数据增强后的图像加入到所述训练样本中。

8.一种固定版面证件结构化信息提取装置，其特征在于，所述装置包括：

图像获取模块，用于获取目标证件图像；

模型选择模块，用于根据所述目标证件图像的类型选择对应的实例分割模型；

实例分割模块，用于通过所述实例分割模型对所述目标证件图像中多个待识别的文本行进行实例分割，获取与所述多个待识别的文本行各自对应的分割实例；

信息获取模块，用于通过预设文字识别模型识别所述待识别的文本行的分割实例，获得所述目标证件图像中的结构化信息。