[发明专利]基于互联网检索的中文文档识别方法

说明书

本发明公开了一种基于互联网检索的中文文档识别方法，包括：对文档图片通过构建的候选切分网络，得到基元片段；将相邻的N个基元片段组合构成候选字符模式，将所有的候选字符模式构成候选切分网格；通过字符识别器识别候选切分网格中的候选字符模式，得到识别概率最高的M个字符类别，生成候选识别网格；对候选识别网格中的候选切分‑识别路径进行评价，得到评分最高的路径；若识别次数小于设定阈值，进行互联网检索，在互联网语料库中查找与当前文档相关的文档；从相关文档中得到词语的语言上下文概率模型，在识别过程中根据语言上下文概率模型动态更新语言模型，得到文档识别结果。充分考虑语言上下文信息，提高语言模型的得分准确性，从而提高文档识别准确率。

技术领域

本发明涉及一种中文文档识别方法，具体地涉及一种基于互联网检索的中文文档识别方法。

背景技术

近年来，文档识别可以被视为非常热的研究。目前，一些背景简单、书写规范的印刷体扫描文档识别基本已经解决，但是面对背景复杂或者书写自由的文档识别，仍然存在很大的困难。这里面一个很大的难题就是语言上下文的利用很不充分，当前文档识别方法并没有像人类一样能够充分借助上下文知识来识别文档。目前文档识别方法中一般综合考虑字符类别相似度得分(这个字像不像)以及语言上下文得分(这个字在这里符不符合语言习惯)，随着深度学习技术的发展，字符类别相似度得分得到了巨大的进步，但是语言上下文得分这一部分仍然是一个难点，这也是本发明主要针对的内容。

目前的语言上下文得分通常采用语言模型来表示，其一般包括两种：第一种是N元文法模型(N-Gram模型)，第二种是近年来兴起的基于神经网络的语言模型(比如：递归神经网络等)。这两种模型都依赖于一个大型文本语料库事先进行统计训练，得到一个静态的相邻几个词语之间的概率分布，然后在识别过程中进行使用。这种方式有两个缺陷：

(1)由于语言中单词的多义性，一个词语在不同的语境中与相邻词语的概率是不同的(比如“姚明”这个词语在体育类语境中概率会高的多)，这种多样性在目前的语言模型中很难体现出来。

(2)由于计算资源有限，目前所谓的大型文本语料库其实相对人类语言学知识库来说也是非常的渺小，因此其训练出来的统计模型往往是有偏差的。

随着互联网的普及，目前互联网上的内容则是庞大的，如果能够充分利用网络中的内容辅助文档识别，在识别过程中通过互联网检索找到相关语料，从而对语言模型进行动态调整，这样的语言上下文得分能够一定程度上克服上述两个缺陷，从而更加准确，提高文档识别性能，本发明因此而来。

发明内容

为了解决上述存在的技术问题，本发明的目的是提出了一种基于互联网检索的中文文档识别方法。在识别过程中利用互联网检索得到相关文本，动态更新语言模型，充分考虑语言上下文信息，提高语言模型的得分准确性，从而提高文档识别准确率。

本发明的技术方案是：

一种基于互联网检索的中文文档识别方法，包括以下步骤：

S01：对输入的文档图片通过构建的候选切分网络，得到连续的基元片段；

S02：将相邻的N个基元片段组合构成一个候选字符模式，将所有的候选字符模式构成一个候选切分网格；

S03：通过字符识别模型识别候选切分网格中的候选字符模式，得到识别概率最高的M个字符类别，生成候选识别网格；

S04：根据字符识别模型和语言模型对候选识别网格中的候选切分-识别路径进行评价，得到评分最高的路径；

S05：判断识别次数，若识别次数小于设定阈值，进行互联网检索，利用当前识别结果作为网络检索的查询文本，在互联网语料库中查找与当前文档相关的文档；

S06：从相关文档中得到词语的语言上下文概率模型，根据语言上下文概率模型动态更新语言模型，当判断不需要进行检索时输出文本结果。