[发明专利]文档的处理方法及装置

说明书

本发明公开了一种文档的处理方法及装置。该方法包括：通过获取文档中的多个文本块；通过分类器确定多个文件块中每个文本块的所属标签，以及通过预设的语言模型对多个文件块中两两相邻的文本块进行分析，得到两两相邻的文本块的连续概率，其中，语言模型为使用多组数据通过机器学习训练出的，多组数据中的每组数据均包括：两两相邻的文本块和两两相邻的文本块的连续概率；在确定指定的两两相邻的文本块的连续概率的大于预设阈值，且指定的两两相邻的文本块属于同一标签的情况下，将指定的两两相邻的文本块进行合并。本发明解决了现有技术中，对文档中的文本进行合并时，由于文本中存在换行、分栏等情况，导致文本合并存在精确度低的技术问题。

技术领域

本发明涉及文档处理领域，具体而言，涉及一种文档的处理方法及装置。

背景技术

目前，PDF文档由于其具有文档文件稳定、文档格式的保留较好等优点，已成为文本文件的存储和传输的重要形式。对于工业以及学术界大部分知识和信息都是通过PDF文档形式存在，对于当前企事业单位智能化的一个重要前提就是将存储在PDF文档中的各种知识解析后结构化存储后再进行使用。当前大部分的PDF解析工具得到的内容存在位置错乱，内容目录层级无法确定等问题，需要通过技术手段来对解析后文本内容进行分类和合并，从而达到结构化或半结构化的目的。

而现有的对PDF解析内容进行分类和合并的方法主要通过解析后文本块进行关键字匹配来确定文本块类别。关键字匹配主要通过文本类别的关键字，例如对文本按照标题，正文，注释等进行分类，那么对于标题通常采用匹配标题常见关键字符如“1.1”进行匹配，如匹配存在则判断该文本块为标题。对于多个文本块则通过文本块所在PDF中坐标进行直接合并，按照坐标从上到下，从左到右进行合并。

关键字匹配的方法其主要缺陷在于关键字匹配需要积累匹配规则，对于PDF文档其标题形式千变万化，需要维护大量规则，另外也存在规则召回率低难优化的问题。而对于文本块的合并方法，根据坐标合并的方法过于粗略，对于文本中存在换行、分栏等情况未做考虑，导致文本合并存在错误较多的情况。

针对现有技术中，对文档中的文本进行合并时，由于文本中存在换行、分栏等情况，导致文本合并存在精确度低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种文档的处理方法及装置，以至少解决现有技术中，对文档中的文本进行合并时，由于文本中存在换行、分栏等情况，导致文本合并存在精确度低的技术问题。

根据本发明实施例的一个方面，提供了一种文档的处理方法，包括：获取文档中的多个文本块；通过分类器确定所述多个文件块中每个文本块的所属标签，以及通过预设的语言模型对所述多个文件块中两两相邻的文本块进行分析，得到所述两两相邻的文本块的连续概率，其中，所述语言模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：两两相邻的文本块和两两相邻的文本块的连续概率；在确定指定的两两相邻的文本块的连续概率的大于预设阈值，且所述指定的两两相邻的文本块属于同一标签的情况下，将所述指定的两两相邻的文本块进行合并。

进一步地，获取所述文档中的所述多个文本块包括：将所述文档转化为图片；对所述图片按照预设规则划分不同的区域，其中，所述不同的区域分别对应于所述多个文本块。

进一步地，对所述图片按照预设规则划分不同的区域之后，所述方法还包括：分别对所述不同的区域标注标签，其中，对所述不同的区域标注的标签为所述每个文本块的所属标签。