[发明专利]一种基于BERT和前馈神经网络的文本纠错方法

权利要求书

1.一种基于BERT和前馈神经网络的文本纠错方法，其特征在于，包含以下步骤：

1)对于文本纠错语料数据进行预处理。

2)将步骤1)预处理后的输入文本基于BERT编码，得到特征表示和语义表示。

3)基于步骤2)得到的输入文本语义表示，判断文本是否为正确文本。

4)基于步骤2)得到的输入文本特征表示和步骤3)的判断结果，检测文本中错误的位置。

5)基于步骤4)找到的错误位置，生成错误文本对应的正确文本。

2.如权利要求1所述基于BERT和前馈神经网络的文本纠错方法，其特征在于，所述步骤1)中，数据预处理方法：

1.1)对于获取的文本数据进行预处理操作。

1.2)对文本进行分词，如果为中文，则按字为单位进行分词；如果是英文，按wordpiece形式进行分词。

1.3)在文本开始处添加特殊字符“[CLS]”，在结束处添加特殊字符“[SEP]”。

1.4)如果为训练数据，通过比较分词后的源字符串和目标字符串，计算文本对错标签、字符错误类型标签和错误对应正确文本的标签。

3.如权利要求2所述基于BERT和前馈神经网络的文本纠错方法，其特征在于，所述步骤2)中，基于BERT编码文本表示：

2.1)利用BERT预训练字词向量和位置向量，字词嵌入和位置嵌入输入文本，获得文本初步向量表示：

其中，E_word是字词嵌入矩阵，E_pos是位置嵌入矩阵，其中字嵌入矩阵的大小为[V，E]，V是BERT定义的词表大小，E是嵌入维度，位置嵌入矩阵的大小为[512，E]。

2.2)利用BERT中的L层Transformer模块获取每个字符的语义特征表示其计算方法为：

H^l＝Transformer(H^l-1)

2.3)利用“[CLS]”字符对应特征获得文本整体语义表示：

4.如权利要求3所述基于BERT和前馈神经网络的文本纠错方法，其特征在于，所述步骤3)中，判断文本是否为正确文本：

3.1)选择步骤2.3)中由BERT输出的文本整体语义表示c，作为判断文本对错的特征。

3.2)使用前馈神经网络，将c映射为一个数值，然后使用sigmoid函数，计算得到预测文本不正确的概率：

P^rw＝sigmoid(W^rwc+b^rw)

其中，W^rw和b^rw是深度学习模型学习的权重参数。

3.3)将P^rw和人工设置的阈值进行比较来判断文本是否错误，如果小于阈值则认为文本是正确的。

3.4)对于判定为正确的输入文本，不再进行后续的纠错操作，直接将输入文本作为纠错结果输出。

3.5)在模型训练时，使用二元交叉熵损失函数来计算文本对错判断的损失值：

Loss^rw＝BCELoss(P^rw，y^rw)

其中，y^rw是文本对错的真实值，通过比较源字符串和目标字符串是否相等得到。