[发明专利]一种证件类图片的关键文本检测、分类训练方法

权利要求书

1.一种证件类图片的关键文本检测、分类训练方法，其特征在于，该方法包括以下步骤：

S1、构建证件模板，并基于证件模板生成训练样本；

S2、在基于图像分割方式的文本检测神经网络模型基础上引入分类分支，构建文字检测及分类一体算法模型，并基于网络输出的检测特征图和分类特征图输出文本区域及其分类结果；

S3、将训练样本导入文字检测及分类一体算法模型进行训练，并在训练过程中分别对分类特征图、检测特征图进行两类负采样；

S4、依次计算分类特征图中的分类特征图损失值和检测特征图中的检测特征图损失值，并融合分类特征图损失值和检测特征图损失值进行反向传播优化训练文字检测及分类一体算法模型；

其中，所述构建证件模板，并基于证件模板生成训练样本还包括以下步骤：

S11、使用图片标注工具对图像中需要检测的文字区域进行标注，并标注文本区域中对应的字段名称，得到模板图片的标注文件；

S12、使用图片编辑工具、对抗生成网络方法擦除模板图片的文字内容，得到待填充内容的模板图片；

S13、各个字段定制不同的文本内容生成规则，采用文本内容生成规则将不同的字体、字号、颜色填充到对应字段的位置区域上的随机位置上，对生成的图片进行全局性的图像增强，并生成其对应的标注文件；

所述使用图片标注工具对图像中需要检测的文字区域进行标注，并标注文本区域中对应的字段名称，得到模板图片的标注文件还包括以下步骤：

S111、基于图像标注工具，对图像中需要检测的文字区域进行逐行标注；

S112、标注文本区域对应的字段名称，得到图像中所有待检测区域的位置并对标注的字段标识对应分类。

2.根据权利要求1所述的一种证件类图片的关键文本检测、分类训练方法，其特征在于，所述文本内容生成规则还包括以下步骤：指定各个字段中文本规则，依据文本规则填充到标准生成模板，在对证件图片进行全局的填充。

3.根据权利要求1所述的一种证件类图片的关键文本检测、分类训练方法，其特征在于，所述在基于图像分割方式的文本检测神经网络模型基础上引入分类分支，构建文字检测及分类一体算法模型，并基于网络输出的检测特征图和分类特征图输出文本区域及其分类结果还包括以下步骤：

S21、改造文本检测神经网络的结构：设待检测模板存在数类分类字段，文本检测网络根据结构分为骨干层和检测层，保持骨干层结构不变并进行改造；

S22、基于检测特征图和分类特征图输出文本区域及其分类结果：设网络输出分类特征图与检测特征图，基于检测特征图通过轮廓提取、生成最小包围盒的方法得到多个文本区域包围盒及其对应的置信度，并通过非极大值抑制过滤得到检测框集合，检测框集合可对应于所有分类特征图的对应位置；

S23、设定第i个检测结果的输出模型为检测框集合；

S24、设立分类置信度阈值。

4.根据权利要求3所述的一种证件类图片的关键文本检测、分类训练方法，其特征在于，所述设定第i个检测结果的输出模型为检测框集合的计算方法如下：

；

其中，为第n个分类特征图中第x行、第y列的值，argmax输出分类结果为Cls_i和分类得分，为得分，num_classes为类别数，position(X)为计算X各个位置坐标的函数，mean(X)为均值函数，Cls_i为公共语言规范；Det_i为第i个模型的检测框集合。

5.根据权利要求3所述的一种证件类图片的关键文本检测、分类训练方法，其特征在于，所述设立分类置信度阈值还包括以下步骤：

S241、当满足得分≥分类置信度阈值时，则保留检测结果；

S242、当满足得分＜分类置信度阈值时，则丢弃检测结果。