[发明专利]基于深度学习和OCR的票据分类及票据字段提取方法

摘要

本发明公开了一种基于深度学习和OCR的票据分类及票据字段提取方法，包括以下步骤：选取多张标准票据图像，截取标准票据图像中的公章图像的外接矩形轮廓，作为深度学习的训练样本，得到深度学习模型；将待识别的票据图像的公章的外接矩形轮廓通过深度学习模型进行分类，若分类成功，则输出待识别的票据图像的票据类型并判定待识别的票据图像为标准票据图像，若分类失败，则判定待识别的票据图像为非标准票据图像；本发明可以实现票据的自动分类以及票据内容的智能提取，为财务人员提供了快速检索以及快速获取票据信息的服务，提升了工作效率。

主权项

一种基于深度学习和OCR的票据分类及票据字段提取方法，其特征在于：包括以下步骤：步骤1：选取多张标准票据图像，截取标准票据图像中的公章图像的外接矩形轮廓，作为深度学习的训练样本，得到深度学习模型；步骤2：获取待识别的票据图像，将待识别的票据图像的RGB颜色空间转换到HSV颜色空间，根据HSV颜色空间中的三个颜色分量的值判断选取的每个像素的颜色；步骤3：根据HSV颜色空间中的三个颜色分量的值，筛选出满足公章颜色范围的像素点，获取像素点的外接矩形轮廓从而获取公章的外接矩形轮廓和公章在待识别的票据图像中的位置；步骤4：获取待识别的票据图像中最大包围框的轮廓，根据最大包围框的轮廓和公章的位置对待识别的票据图像进行倾斜校正；步骤5：将待识别的票据图像的公章的外接矩形轮廓通过深度学习模型进行分类，若分类成功，则输出待识别的票据图像的票据类型并判定待识别的票据图像为标准票据图像，执行步骤8,若分类失败，则判定待识别的票据图像为非标准票据图像并执行步骤6；步骤6：分别获取待识别的票据图像中最大包围框的轮廓的上方图像区域、左方图像区域、右方图像区域和下方图像区域，并分别依次对上方图像区域、左方图像区域、右方图像区域和下方图像区域进行倾斜矫正，将上方图像区域、左方图像区域、右方图像区域和下方图像区域的内容分别与自制表格凭证的票头文字进行匹配从而判断待识别的票据图像是否为自制表格凭证，若匹配成功，则执行步骤7，否则，结束；步骤7：当待识别的票据图像为自制表格凭证时，对待识别的票据图像内的自制表格进行定位，根据预先制定的自制表格凭证模板文件确定待识别区域并获取待识别区域中的字段在待识别的票据图像内的具体坐标位置，截取待识别区域中的字段在待识别的票据图像内的局部图像，执行步骤9；步骤8：当待识别的票据图像为标准票据图像时，加载预先制定的与该待识别的票据图像相同类型的标准票据模板文件，根据标准票据模板文件确定待识别区域并获取待识别区域中的字段在待识别的票据图像内的具体坐标位置，截取待识别区域中的字段在待识别的票据图像内的局部图像，执行步骤9；步骤9：通过文字识别系统将局部图像OCR识别成字符串。