[发明专利]文档图像方向识别方法、装置及模型的训练方法、装置

说明书

本申请公开了文档图像方向识别方法、装置及模型的训练方法、装置。文档图像识别模型的训练方法包括：根据注意力机制，生成训练图像的注意力裁剪图像和注意力抹除图像，以及分别确定训练图像、注意力裁剪图像以及注意力抹除图像各自的注意力融合特征；根据各注意力融合特征分别识别相应图像的方向，得到相应的识别结果；根据各识别结果计算交叉熵损失值，以及根据各注意力融合特征计算中心损失值，根据交叉熵损失值和中心损失值对文档图像方向识别模型进行参数优化或停止训练。利用注意力裁剪和注意力抹除，让文档图像方向识别模型更容易聚焦至文档图像中有区分度的文字部分特征，并且通过减少类内距离，达到了更好的通用文档图像方向判断效果。

技术领域

本申请涉计算机视觉领域，具体涉及文档图像方向识别方法、装置及模型的训练方法、装置。

背景技术

业务中经常会涉及到证照、文档图像的自动识别，但在识别之前必须保证图像方向是正的才可以进行文本的检测和识别。由于实际业务数据中很多是用户直接拍摄上传的(有可能有0°，90°，180°，270°的情况，其中0°为正向)，无法保证图像方向是正的，所以不论是对存量数据或者线上数据进行识别，都需要人工或者算法将图像旋转为正向才可以进行识别，但人工的方式效率过于低下。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的文档图像方向识别方法、装置及模型的训练方法、装置。

依据本申请的第一方面，提供了一种文档图像方向识别模型的训练方法，包括：根据注意力机制，生成训练图像的注意力裁剪图像和注意力抹除图像；根据注意力机制，分别确定所述训练图像、所述注意力裁剪图像以及所述注意力抹除图像各自的注意力融合特征；根据各注意力融合特征分别识别相应图像的方向，得到相应的识别结果；根据各识别结果计算交叉熵损失值，以及根据各注意力融合特征计算中心损失值，根据交叉熵损失值和中心损失值对所述文档图像方向识别模型进行参数优化或停止训练。

可选地，所述根据注意力机制，生成训练图像的注意力裁剪图像和注意力抹除图像包括：提取训练图像的原始特征；根据注意力机制和所述原始特征生成注意力特征，根据所述注意力特征和所述训练图像生成注意力裁剪图像和注意力抹除图像。

可选地，所述根据所述注意力特征和所述训练图像生成注意力裁剪图像和注意力抹除图像包括：调整注意力特征的特征矩阵至与所述训练图像的大小相适应；从调整后的特征矩阵中确定注意力响应区域；根据所述注意力响应区域的最小包围框从所述训练图像中裁剪出所述注意力裁剪图像；从所述注意力响应区域中随机选取部分元素，根据该部分元素的最小包围框和/或掩模在所述训练图像中抹除相应部分的图像区域，得到注意力抹除图像。

可选地，所述根据注意力机制，分别确定所述训练图像、所述注意力裁剪图像以及所述注意力抹除图像的注意力融合特征包括：分别提取所述训练图像、所述注意力裁剪图像以及所述注意力抹除图像的原始特征；通过注意力机制和各图像的原始特征，分别生成各图像的注意力特征；对每个图像，将该图像的原始特征与注意力特征进行融合，得到该图像的注意力融合特征。

可选地，所述根据各识别结果计算交叉熵损失值，以及根据各注意力融合特征计算中心损失值，根据交叉熵损失值和中心损失值对所述文档图像方向识别模型进行参数优化或停止训练包括：将注意力融合特征通过softmax输出识别结果，根据识别结果和真实值计算交叉熵损失值；根据各注意力融合特征与各图像方向的中心特征计算中心损失值；当各交叉熵损失值和所述中心损失值均小于相应的预设值时停止训练，否则，根据交叉熵损失值和中心损失值对所述文档图像方向识别模型进行参数优化。

可选地，所述注意力机制为注意力扰动机制。

依据本申请的第二方面，提供了一种文档图像方向识别方法，包括：获取待进行方向识别的文档图像；利用通过如上述任一项所述的文档图像方向识别模型的训练方法训练得到的文档图像方向识别模型确定所述文档图像的注意力融合特征，并基于所述注意力融合特征确定所述文档图像的方向。