[发明专利]一种实现跨领域的中文文本纠错方法和系统

权利要求书

1.一种实现跨领域的中文文本纠错方法，其特征在于，包括如下步骤：

采用序列标注的检错模型结合通用领域的监督数据训练模型进行错误检测；

通过编辑距离或者Jaccard距离在词表的拼音库中进行错误找回，获得错误替换集合；

将错误替换集合中的词语依次替换错误，采用rnnlm语言模型来对替换错误后的句子进行困惑度计算，根据计算的句子困惑度确定错误替换集合中正确的词语，完成中文文本纠错。

2.根据权利要求1所述的一种实现跨领域的中文文本纠错方法，其特征在于，采用序列标注的检错模型结合通用领域的监督数据训练模型进行错误检测，所述序列标注的检错模型结合通用领域的监督数据训练模型，具体为：

文本表示层，通过bert预训练模型进行文本表示，文本表示为n*k的矩阵，其中n为句子的最大长度，k为词向量维度；

Bi-LSTM层，通过长短期记忆网络实现句子中每个字的输出，并通过数学结构保持长距离的字的信息，Bi-LSTM层的输出矩阵为n*2*h，其中h为文本表示层的维度；

CRF层，结合Bi-LSTM层的输出，通过初始化转移矩阵来计算每个句子出现的实体标签的最佳路径。

3.根据权利要求1所述的一种实现跨领域的中文文本纠错方法，其特征在于，采用序列标注的检错模型结合通用领域的监督数据训练模型进行错误检测，所述序列标注的检错模型结合通用领域的监督数据训练模型，具体为：

文本表示层，通过skip-gram或者cbow的方式嵌入文本，文本表示为n*k的矩阵，其中n为句子的最大长度，k为词向量维度；

Bi-LSTM层，通过长短期记忆网络实现句子中每个字的输出，并通过数学结构保持长距离的字的信息，Bi-LSTM层的输出矩阵为n*2*h，其中h为文本表示层的维度；

CRF层，结合Bi-LSTM层的输出，通过初始化转移矩阵来计算每个句子出现的实体标签的最佳路径。

4.根据权利要求1所述的一种实现跨领域的中文文本纠错方法，其特征在于，在采用序列标注的检错模型结合通用领域的监督数据训练模型进行错误检测之前，还包括：

对文本进行特殊字符和表情符号的过滤，并构成字表，将每个句子中的字进行数字化；

将字符和实体标注对应的数据以batch的方式读取，并tokenize每个句子，将[CLS]和[SEP]加在句子的首尾。

5.根据权利要求1所述的一种实现跨领域的中文文本纠错方法，其特征在于，对文本进行特殊字符和表情符号的过滤，并构成字表，将每个句子中的字进行数字化，还包括：

将字符与标注的实体标签处理为一一对应的形式，采用分词处理拼音词典。

6.根据权利要求1所述的一种实现跨领域的中文文本纠错方法，其特征在于，将错误替换集合中的词语依次替换错误，采用rnnlm语言模型来对替换错误后的句子进行困惑度计算，其中所述rnnlm语言模型具体为：

表示层，将字+词合起来表征句子，并用word2vec进行向量化；

RNN层，包括循环神经网络，将文本进行序列建模，每一个隐藏层输出都取决于当前的输入和前一时刻的输出，学习到句子的表述顺序；

输出层，接入线性变化的一个激活函数，得到每个句子的损失值。

7.根据权利要求5所述的一种实现跨领域的中文文本纠错方法，其特征在于，所述困惑度的计算具体为：

其中，S表示为句子，w表示字，i表示句子中字的序号，i＝1,2....N，N表示句子中字的个数。

8.一种实现跨领域的中文文本纠错系统，其特征在于，包括：

错误检测模块：采用序列标注的检错模型结合通用领域的监督数据训练模型进行错误检测；

错误召回模块：通过编辑距离或者Jaccard距离在词表的拼音库中进行错误召回，获得错误替换集合；

纠错排序模块：将错误替换集合中的词语依次替换错误，采用rnnlm语言模型来对替换错误后的句子进行困惑度计算，根据计算的句子困惑度确定错误替换集合中正确的词语，完成中文文本纠错。