[发明专利]基于深度学习的发票信息管理方法、系统和可读介质

权利要求书

1.一种基于深度学习的发票信息管理方法，其特征在于，包括以下步骤：

S1.通过发票扫描模块对纸质版发票进行扫描，收集转化为图片格式的发票图片数据；

S2.纠正预处理模块识别发票图片并进行边缘检测，若发票图片边缘倾斜的角度大于预设的阈值，将该发票图片进行角度偏移纠正；否则不进行操作；

S3.检测模块收集步骤S2的发票图片进行批注，根据所需要提取信息的特征不同，对需要提取的信息点进行相应的类别标签批注；并将标注好的数据放入Faster-Rcnn神经网络进行训练；将目标发票图片放入训练好的模型之中，对目标发票图片的目标框标签类别、目标框大小、目标框中心点坐标进行预测并得到目标发票图片上所有感兴趣信息的目标框字符信息；

S4.验证模块检测目标发票图片是否有发票抬头盖章信息，判断发票的真伪，若目标发票图片没有发票抬头盖章信息，则定义为可疑发票则将发出警示，提醒进行人工检核；

S5.字符识别模块识别目标发票图片的目标框的坐标信息，将目标框每一个信息的片段切割出来，将所有目标框的信息片段排成一竖列放入提前训练好的字符识别神经网络，将每个片段的图片信息转化为文本信息；

S6.信息分类及定位模块，计算目标发票图片中各个目标框的中心点的位置信息与目标框大小，与神经网络的训练数据进行对比，判断是否与训练结果一致，若一致则进入S7，否则提醒进行人工核验；

S7.输出模块将该目标框经过字符识别所得到的文本信息分类在相应的信息类别中并进行输出；

所述的类别标签包括5类，其中类别标签1为发票抬头印章；2为发票编号；3为医院收费印章；4为诊疗类别以及患者性别信息；5为就诊科室以及详细费用类别名称与缴费方式；

所述的S3具体步骤如下：

S31.将收集到的发票图片，根据信息特征进行批注，将需要提取的信息点分成5类标签类别进行标注，每个发票图片创建一个XML文件，该XML文件包含发票图片所有标注目标框的位置信息和标签信息；

S32.将标注好的发票图片放进Faster-Rcnn神经网络内进行训练，其中发票图片随机分配作为训练集与验证集，得到训练图片的目标框大小与目标框的中心点坐标信息；

S33.将目标发票图片经过S1、S2步骤后输入到训练好的Faster-Rcnn神经网络之中，Faster-Rcnn神经网络通过神经网络的训练结果，学习相应训练图片标签类别的特征信息，并对目标发票图片的标签类别、目标框大小、目标框中心点坐标进行预测；

S34.Faster-Rcnn神经网络通过注意力机制，将锚点覆盖整张图片，根据神经网络的反馈，通过不断改变锚点的长宽比和位置，最终得出使神经网络损失最小的一个锚点并将该锚点作为输出，当神经网络判断该输出锚点是目标框的概率超过预设的阈值，则将该锚点输出，得到目标发票图片中所有的目标框，以及目标框的位置坐标信息和标签信息；

所述的S6的具体步骤如下：

S61.计算目标发票信息中所有目标框的中心点坐标与目标框的端点坐标；

S62.根据每个目标框的中心点和端点坐标信息，计算出各个目标框的长宽；

S63.对比目标发票图片和训练图片判断目标发票的目标框大小、目标框中心点坐标是否与S33预测结果一致；若一致则进入S7，若不一致则发出警示，提醒进行人工检核。

2.根据权利要求1所述的基于深度学习的发票信息管理方法，其特征在于，所述的S5具体步骤如下：

S51.字符识别模块识别目标发票图片中目标框的位置坐标信息，将每一个目标框从图片中切割成若干个目标片段，将背景信息去除；

S52.将所有目标片段排成一竖列放入提前训练好的字符识别神经网络，得出每个目标框的字符识别结果，将每个片段的图片信息转化为文本信息，记录在目标图片的XML文件中。

3.根据权利要求1所述的基于深度学习的发票信息管理方法，其特征在于，所述的S7的具体步骤如下:

建立一个EXCEL文件，对目标发票图片的XML文件进行收集，将目标发票图片经过转换的文本信息对应列入EXCEL文件中，输出目标发票图片所有关键信息。