[发明专利]一种文档解析方法及系统

说明书

本发明公开一种文档解析方法及系统，包括：获取PDF文档并查找到文档尾Trailer；查找到根节点对象Root及其中包括的页节点对象Pages；CPU多线程同时查找页节点对象Pages中是否存在/Contents属性标签；根据PDF文档的交差引用表Xref table，将每个线程查找到的待解析标签搭建为结构树；动态调整可用于解析待解析标签的CPU线程数和GPGPU线程数；CPU和GPGPU多线程同时提取待解析标签中的Stream流及其中的文本内容；根据结构树中存储的各个待解析标签的位置和标签之间的父子关系，将每个线程提取的文本内容进行拼接，得到PDF文档的完整文本数据并敏感词进行脱敏处理。

技术领域

本发明属于文件解析技术领域，具体涉及一种文档解析方法及系统。

背景技术

PDF(Portable Document Format，可携带文档格式)文档作为一个国际通用的电子文档，在各行各业领域中均有广泛使用。比如公文、收据、票据、保单、通知单、确认书、申请表等，通常使用PDF格式的文档。PDF文档中包括的素材种类较多，包括单纯文字渲染、图片渲染等，是一种比较难处理的文档格式。

现有技术中，常用的提取PDF文档中内容信息的方法通常是将整页PDF转换为图片格式，再利用CV(ComputerVision，计算机视觉)识别，比如OCR识别(Optical CharacterRecognition，光学字符识别)，提取文字内容并输出。

但在实际应用过程中，PDF格式的文档包含的素材种类复杂多变，单纯的通过OCR解析整页图片格式不能满足使用需求。OCR识别图片文字具有一定的误识别概率，尤其当PDF文档中图片与文字有重合时，难以解析到准确的内容信息，造成内容信息不完整甚至出现错误的问题，识别准确率较低，难以满足各行各业的广泛使用需求。

发明内容

为了解决现有技术存在的难以解析到准确的内容信息，造成内容信息不完整甚至出现错误的问题，识别准确率较低，难以满足各行各业的广泛使用需求的技术问题，本发明提供一种文档解析方法及系统。

第一方面

本发明提供一种文档解析方法，包括：

S101：获取PDF文档；

S102：查找到PDF文档的文档尾Trailer；

S103：根据文档尾Trailer查找到根节点对象Root；

S104：根据根节点对象Root的属性标签查找到根节点对象Root中包括的页节点对象Pages；

S105：CPU多线程同时查找页节点对象Pages中是否存在/Contents属性标签；如果不存在，结束流程；如果存在，将/Contents属性标签定义为待解析标签进入S106；

S106：根据PDF文档的交差引用表Xref table，将每个线程查找到的待解析标签搭建为结构树，结构树中存储有各个待解析标签的位置和标签之间的父子关系；

S107：动态调整可用于解析待解析标签的CPU的线程数和GPGPU线程数；

S108：CPU和GPGPU多线程同时提取待解析标签中的Stream流以及Stream流中的文本内容；

S109：根据结构树中存储的各个待解析标签的位置和标签之间的父子关系，将每个线程提取的文本内容进行拼接，得到PDF文档的完整文本数据；

S110：对PDF文档的完整文本数据中的敏感词进行脱敏处理。

第二方面

本发明提供一种文档解析系统，包括：

获取模块，用于获取PDF文档；

第一查找模块，用于查找到PDF文档的文档尾Trailer；

第二查找模块，用于根据文档尾Trailer查找到根节点对象Root；

第三查找模块，用于根据根节点对象Root的属性标签查找到根节点对象Root中包括的页节点对象Pages；