[发明专利]一种基于BERT和前馈神经网络的文本纠错方法

说明书

本发明公开了一种基于BERT和前馈神经网络的文本纠错方法，能对大规模语料进行快速准确的错误识别和纠正。方法首先对文本进行预处理，然后将文本用BERT进行语义编码，之后先用文本整体的语义信息判断文本是否正确，然后对判断为错误的文本，使用序列标注的方法找出文本中错误出现的具体位置，最后结合错误的上下文信息，使用前馈神经网络生成对应的正确文本。本发明构建的文本纠错方法具有推理速度快、可解释性好的特点。

技术领域

本发明属于人工智能和自然语言处理领域，尤其涉及一种基于BERT和前馈神经网络的文本纠错方法。

技术背景

文本纠错是一项纠正文本中错误内容的自然语言处理技术，具体包含拼写纠错、语法纠错和特点场景下的语义语用纠错等纠错对象。其中拼写纠错的特点是不改变文本长度，只对文本中出现的错别字进行一对一的纠正；语法纠错和语义语用纠错需要处理文本中的多词错误、少词错误、用词错误和词序错误等错误，可能改变文本的长度。

近年来诸如BERT的大规模深度预训练语言模型促进了自然语言处理领域的快速发展，使得在进行具体的文本处理任务时能够获得一个较好的初始文本语义表示，从而减少模型收敛所需要的时间和成本。

传统文本纠错主要采用基于规则或翻译模型的方法，其中基于规则的方法主要依靠人工定义替换词字典，只能对特定的几种错误进行纠正；利用翻译模型进行文本纠错是目前的主流方法，并且基于神经网络的翻译模型已经替代基于统计的翻译模型用于纠错，该方法将文本纠错作为从错误句子翻译为正确句子的翻译问题来解决，虽然效果良好、语句通顺，但是需要大量训练数据，并且在使用时存在耗时长的问题。另外，如果只针对拼写错误进行纠正，目前主要采用序列标注方法，能快速纠正错别字，但是不适用于其它错误的纠正。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于BERT和前馈神经网络的文本纠错方法。本发明采用一种简便的模型识别和纠正文本中存在的各种错误。

本发明的目的是通过以下技术方案来实现的：一种基于BERT和前馈神经网络的文本纠错方法，包含以下步骤：

1)对于文本纠错语料数据进行预处理。

2)将步骤1)预处理后的输入文本基于BERT编码，得到特征表示和语义表示。

3)基于步骤2)得到的输入文本语义表示，判断文本是否为正确文本。

4)基于步骤2)得到的输入文本特征表示和步骤3)的判断结果，检测文本中错误的位置。

5)基于步骤4)找到的错误位置，生成错误文本对应的正确文本。

进一步地，所述步骤1)中，数据预处理方法：

1.1)对于获取的文本数据进行预处理操作。

1.2)对文本进行分词，如果为中文，则按字为单位进行分词；如果是英文，按wordpiece形式进行分词。

1.3)在文本开始处添加特殊字符“[CLS]”，在结束处添加特殊字符“[SEP]”。

1.4)如果为训练数据，通过比较分词后的源字符串和目标字符串，计算文本对错标签、字符错误类型标签和错误对应正确文本的标签。

进一步地，所述步骤2)中，基于BERT编码文本表示：

2.1)利用BERT预训练字词向量和位置向量，字词嵌入和位置嵌入输入文本，获得文本初步向量表示：

其中，E_word是字词嵌入矩阵，E_pos是位置嵌入矩阵，其中字嵌入矩阵的大小为[V,E]，V是BERT定义的词表大小，E是嵌入维度，位置嵌入矩阵的大小为[512,E]。