[发明专利]一种字词结合的文本自动校对方法

摘要

本发明公开了一种字词结合的文本自动校对方法，首先分别采用如下两种查错方法进行查错：1)基于n‑gram语言模型的查错方法；2)基于lstm语言模型的查错方法；然后将两种方法的查错结果求交集，得到最终的查错结果。本发明方法基于词符嵌入(word embeddings)技术、双向lstm网络、CRF(Conditional Random Field，条件随机场)模型等实现对输入文本进行分词与词性标注，在此基础上基于n‑gram模型、双向lstm语言模型以及规则策略，实现文本中存在的错误查找。

主权项

1.一种字词结合的文本自动校对方法，其特征在于，包括如下步骤：S1、分别采用如下两种查错方法进行查错：1)基于n‑gram语言模型的查错方法；2)基于Lstm语言模型的查错方法；所述基于n‑gram语言模型的查错方法包括如下步骤：1.1)、对于输入文本S，采用基于深度学习的方法对文本进行分词与词性标注，得到S＝w₁,w₂,…,w_n，其中w_i为分词后得到的词，其对应词性为pos_i，i＝1,2,…,n；1.2)、对分词后的结果使用unigram、bigram和trigram语言模型判断其中是否存在错误；1.2.1)、判断w_i的词性pos_i，若其为人名或地名，则执行步骤1.2.2)；否则使用unigram模型判断w_i的频次P(w_i)，若P(w_i)>＝阈值T₀，则执行步骤1.2.2)，若P(w_i)<T₀，则标记w_i错误；1.2.2)、设P(w_i‑1,w_i)表示词w_i‑1和w_i的共现次数，若pos_i为人名或地名，则使用bigram模型判断w_i‑1和pos_i的共现次数P(w_i‑1,pos_i)，若P(w_i‑1,pos_i)>＝阈值T₁，则执行步骤1.2.3)，若P(w_i‑1,pos_i)<T₁，则标记w_i错误；若pos_i不为人名和地名，则使用P(w_i‑1,w_i)进行判断，若P(w_i‑1,w_i)>＝T₁，则执行步骤1.2.3)，若P(w_i‑1,w_i)<T₁，则标记w_i错误；1.2.3)、设P(w_i‑2,w_i‑1,w_i)表示词w_i‑2,w_i‑1和w_i的共现次数，若pos_i为人名或地名，则使用trigram模型判断w_i‑2、w_i‑1和pos_i的共现次数P(w_i‑2,w_i‑1,pos_i)，若P(w_i‑2,w_i‑1,pos_i)>＝阈值T₂，则认为w_i处不存在错误，若P(w_i‑2,w_i‑1,pos_i)<T₂，则标记w_i错误；若pos_i不为人名和地名，则使用w_i‑2,w_i‑1和w_i的共现次数P(w_i‑2,w_i‑1,w_i)进行判断，若P(w_i‑2,w_i‑1,w_i)>＝T₂(T₂为人为设定阈值)，则认为w_i处不存在错误；若P(w_i‑2,w_i‑1,w_i)<T₂，则标记w_i错误；所述基于LSTM语言模型的查错方法具体为：2.1)、利用字向量模型将每个字符向量化；2.2)、通过双向LSTM模型进行特征自动抽取得到输出序列；2.3)、对于每个字符x_t的输出h_t，经过Softmax激活函数得到下一时刻字的概率，然后判断下一时刻字的概率与设定阈值的大小，当下一时刻字的概率大于设定的阈值，则该字符正确，否则标注该字符为错误；S2、对于一个输入文本，经过步骤S1处理后分别得到了基于n‑gram语言模型的查错结果和基于LSTM语言模型的查错结果，求取两个查错结果的交集作为最终的查错结果。