[发明专利]一种智能化印章识别方法

权利要求书

1.一种智能化印章识别方法，其特征在于：

包括：印章区域定位过程、印章图像预处理、模型预训练过程以及印章文本生成过程；

所述印章区域定位过程具体为获取待识别的印章图像，自动定位印章区域的位置；

所述印章图像预处理包括两次预处理，通过对印章图像进行第一次预处理，获得清晰、准确的印章图像；然后通过对印章图像进行第二次预处理，使其满足骨干网络的输入格式；

所述模型预训练过程为多模态网络训练，包括印章图像模型训练、印章文本模型训练以及训练模型匹配程度判断；具体为：

a、印章图像模型训练：采用骨干网络对预处理后的印章图像进行图片特征的提取，然后通过全连接层对提取的图片特征维度进行重映射，再对重映射后的向量个数进行随机重采样；

b、印章文本模型训练：

b₁、mask predict训练：随机选取印章图像的印章文本20%～30%作为网络预测对象，对文本侧采用mask predict的方式进行训练；

b₂、shift predict训练：

b₂₁、采用seq-to-seq LM的模式、即左侧字符对右侧字符和网络信息不可见，从而对步骤b₁中训练后的文本进行训练；

b₂₂、在步骤b₂₁训练过程中，同时在模型的输入过程加入少许噪声，从而确保训练过程中识别更多的字符；

b₃、uniLM训练：进行步骤b₁与步骤b₂的往复循环训练，直至完成最终的文本侧训练；

c、训练模型匹配程度判断：

模型融合：采用BERT多模态模型融合步骤a中印章图像模型训练后的图片特征以及步骤b中印章文本模型训练的文本特征，设定分类函数loss，loss值误差反向传播，更新权重参数，不断迭代训练分类网络，直至误差收敛、loss值不再下降，完成学习；

所述印章文本生成过程具体为：将步骤b中编码后的图片特征输入到BERT多模态模型编码器，BERT多模态模型解码器逐步输出识别的字符直到结束符号。

2.根据权利要求1所述的一种智能化印章识别方法，其特征在于：所述自动定位印章区域的步骤具体为：采用图像处理方法保证图片中的印章区域为整个印章的完整区域、且印章区域面积在图像面积的占比大于25%。

3.根据权利要求1或2任一项所述的一种智能化印章识别方法，其特征在于：所述第一次预处理为采用目标检测、裁剪、图像分割的方式，将图片边界定位到印章图像的边界，同时进行去噪处理；所述裁剪采用局部二值化处理的方法。

4.根据权利要求1～3任一项所述的一种智能化印章识别方法，其特征在于：所述第二次预处理采用缩放、填充的操作；所述缩放具体为将所有图像等长宽比例调整（resize）到同样的尺寸，多余的面积采用黑色进行填充。

5.根据权利要求1所述的一种智能化印章识别方法，其特征在于：所述骨干网络采用ResNet或VGG网络模型中的任一种。

6.根据权利要求1所述的一种智能化印章识别方法，其特征在于：所述分类函数loss采用二分类交叉熵损失函数，其具体步骤为：所述BERT模型输出2*1的向量，分别代表匹配与不匹配的置信度；采用softmax层将置信度归一化到0～1的范围内、并让置信度总和为1，输出归一化后匹配与不匹配的置信度；最后将置信度采用二分类交叉熵损失函数来表示模型的损失。