[发明专利]基于深度学习的发票信息管理方法、系统和可读介质

说明书

本发明一种基于深度学习的发票信息采集管理系统及方法，方案如下：通过预先手工标注发票图片的感兴趣区域，作为卷积神经网络的训练样本，将发票的扫描件输入计算机，计算机首先由检测模块，得出感兴趣区域，再由字符识别模块将信息提取出来并转化为数据信息，系统自适应地将所有信息分类，最后得出一个Excel表格，供财务人员进行信息输入以及财务报账操作。本发明将传统的纸质发票，自动提取关键信息，生成Excel表格供财务人员进行报账，极大的减轻了传统财务工作流程中财务人员发票信息录入、报账审核等流程的工作量，节约了大量的人力资源。

技术领域

本发明涉及到发票信息采集管理技术领域，更具体的，涉及一种基于深度学习的发票信息管理方法、系统和可读介质。

背景技术

传统的财务报销系统，需要财务人员收集发票，人工识别需要报销的费用类别、金额，并在电脑录入信息，传统的手工录入信息过于费时费力，财务人员需要耗费大量的时间在这一类重复性的工作上。

公开号CN109344838A的发明专利《发票信息自动快速识别方法、系统以及装置》公开了利用神经网络进行图片文字识别的技术方案，但并未有进一步将发票的有效信息单独提取出来，形成信息管理系统以解决财务人员传统报账的人力成本问题。

公开号CN109657665A的发明专利《一种基于深度学习的发票批量自动识别系统》公开了根据粗定位和细定位策略定位出目标区域，再进行字符识别的技术方案，但是这种定位策略在现实操作中往往因为发票打印信息的位置的不确定性，难以取得令人满意的信息采集准确率。

发明内容

针对现有解决方案中并未有可将发票的有效信息单独提取出来，形成信息管理系统以解决财务人员传统报账的人力成本的问题。

本发明第一方面公开一种基于深度学习的发票信息管理方法，包括以下步骤：

S1.通过发票扫描模块对纸质版发票进行扫描，收集转化为图片格式的发票图片数据；

S2.纠正预处理模块识别发票图片并进行边缘检测，若发票图片边缘倾斜的角度大于预设的阈值，将该发票图片进行角度偏移纠正；否则不进行操作；

S3.检测模块收集步骤S2的发票图片进行批注，根据所需要提取信息的特征不同，对需要提取的信息点进行相应的类别标签批注；并将标注好的数据放入Faster-Rcnn神经网络进行训练；将目标发票图片放入训练好的模型之中，对目标发票图片的目标框标签类别、目标框大小、目标框中心点坐标进行预测并得到目标发票图片上所有感兴趣信息的目标框字符信息；

S4.验证模块检测目标发票图片是否有发票抬头盖章信息，判断发票的真伪，若目标发票图片没有发票抬头盖章信息，则定义为可疑发票则将发出警示，提醒进行人工检核；

S5.字符识别模块识别目标发票图片的目标框的坐标信息，将目标框每一个信息的片段切割出来，将所有目标框的信息片段排成一竖列放入提前训练好的字符识别神经网络，将每个片段的图片信息转化为文本信息；

S6.信息分类及定位模块，计算目标发票图片中各个目标框的中心点的位置信息与目标框大小，与神经网络的训练数据进行对比，判断是否与训练结果一致，若一致则进入S7，否则提醒进行人工核验；

S7.输出模块将该目标框经过字符识别所得到的文本信息分类在相应的信息类别中并进行输出。

在一种优选方案中，所述的类别标签包括5类，类别标签1为发票抬头印章；2为发票编号；3为医院收费印章；4为诊疗类别以及患者性别信息；5为就诊科室以及详细费用类别名称与缴费方式。

在一种优选方案中，所述的S3具体步骤如下：

S31.将收集到的发票图片，根据信息特征进行批注，将需要提取的信息点分成5类标签类别进行标注，每个发票图片创建一个XML文件，该XML文件包含发票图片所有标注目标框的位置信息和标签信息；