[发明专利]基于深度学习模型创建纸质文档结构化数据的方法和终端

说明书

本发明涉及基于深度学习模型创建纸质文档结构化数据的方法和终端，通过预设文档训练样本集；文档样本集中的每一样本包括纸质文档OCR识别结果和与所述纸质文档OCR识别结果对应的标注文档；所述标注文档记录所述纸质文档OCR识别结果中每一关键字段的位置信息和类别信息；使用所述训练样本集训练预设的第一深度学习模型，得到第二深度学习模型；所述第二深度学习模型分析第一纸质文档OCR识别结果，得到所述第一纸质文档OCR识别结果中每一关键字段的位置信息和类别信息；根据所述第一纸质文档OCR识别结果中每一关键字段的位置信息和类别信息创建与所述第一纸质文档OCR识别结果对应的结构化文档。实现了提高纸质文档OCR识别结果转换为结构化文档的准确度。

技术领域

本发明涉及一种基于深度学习模型创建纸质文档结构化数据的方法和终端，属于人工智能纸质文档识别数据处理领域。

背景技术

纸质文档转结构化数据是一种从纸质文档的ORC识别结果中的大量文字信息里面提取出关键的字段的信息，比如收据里面的付款方、付款日期和收款方等，并按照一定的结构保存起来的过程。大量的经OCR识别的纸质文档通过文档结构化的处理以后，可以提供高效的文档检索、文档分析以及其它智能化等服务。纸质文档结构化数据处理的关键也是主要的技术难点就是从大量文字中提取出关键字段信息，包括确定所需要的关键字段在文档中所处位置，以及将定位好的的文字识别出来。

对于一些具有大业务量和高精确度要求的文档结构化应用，比如发票报销和银行结账等，很多文档结构化系统里面关键的任务都是由人工来完成。一个基于人工的文档结构化系统的工作流程如图1所示，包括人工定位字段、人工识别字段文字、输入识别出来的文字到存档的结构化文档中相应的字段。尽管人工定位字段和人工识别文字有较高的准确度，但是基于人工的文档结构化系统有很多缺陷，比如人工识别速度慢、人工成本昂贵、性能容易受到疲劳等因素影响、需要额外的文字输入时间、文字输入容易带入额外的错误等，不利于建立大规模、高效和经济的文档结构化系统。

随着近几年来信息处理技术，尤其是深度学习技术的发展迅猛，文字定位和文字识别的性能得到极大提高，在某些领域文字识别的准确率接近人工识别的水平，帮助实现多种场景应用的落地。深度学习技术在文档结构化系统上也得到一定应用。目前一种采用深度学习技术的文档结构化方案，工作流程如图2所示，包括如下基本步骤：通过对大量文档进行模版分析和统计，确定不同的关键字段在文档中的固定位置；对需要被结构化处理的文档进行预处理，如果不是数字文档，需要预处理扫描存储为数字图像；对关键字段的内容所在位置进行归一化对齐处理；根据不同关键字段对应的固定位置，从待处理的文档中截取出字段对应的图像；利用深度学习OCR技术识别文字；将识别的文字自动存入到结构化文档相应的字段。

现有的深度学习技术方案，将字段定位任务简化为从图像中固定位置截取字段对应的图像，利用深度学习OCR技术识别文字，在关键任务上实现了完全自动化，极大提高了计算效率。但是这种文档结构化系统，仅在待截取的字段在所有文档中的位置都固定的情况下有效，限制了该系统的使用范围。实际应用中如果发票打印系统设置不同的关键字段的内容打印位置设置或者关键字段内容长度发生变化，会导致这些关键字段的内容信息发生偏移，超出设置范围，从而引起错误。对于一些票据识别应用，大量的票据通过扫描或者手机拍照等方式存入计算机，很容易引起票据在图像中的位移，而且不同的票据可能有不同的版式，同一字段在图像中的位置不一定相同，这些特点使得上述文档结构化方案对票据识别等业务不太适用。上述文档结构化方案对于易发生位置偏移的应用场景，将纸质文档的ORC识别结果转换为结构化文档结的准确度较低。

发明内容

本发明所要解决的技术问题是：如何提高纸质文档的ORC识别结果转换为结构化文档的准确度。

为了解决上述技术问题，本发明采用的技术方案为：

基于深度学习模型创建纸质文档结构化数据的方法包括：