[发明专利]一种基于弱化语法错误特征表示的中文语法错误更正方法

说明书

本发明提供了一种基于弱化语法错误特征表示的中文语法错误更正方法，在用于中文语法错误更正任务的Transformer神经网络的基础上，通过编码器所提取得到字符特征表示和上下文特征表示，为待纠错文本中每一个字符学习得到一个弱化因子。弱化因子能够通过联合方程将编码器提取得到的字符特征表示和上下文特征表示联合，使得编码器所提取得到的待纠错文本的特征表示中，语法错误的特征信息得到抑制，从而弱化了语法错误特征信息对中文语法错误更正模型的负面影响，提升了基于Transformer的序列到序列神经网络模型在中文语法错误更正任务中的性能。

技术领域

本发明涉及互联网技术领域，尤其涉及一种基于Transformer神经网络的中文语法错误更正方法。

背景技术

中文是世界上最古老、最复杂的一门语言之一。随着中国的不断发展，越来越多的外国人将中文作为第二语言进行学习。自动化地中文语法错误更正能够替代传统耗时耗力的人工中文语法错误更正，提高外国人学习中文的效率。同时，中文语法错误更正任务能够作为自然语言处理领域中生成任务的辅助任务，提高生成任务中生成文本的质量和合理性。因此，近年来中文语法错误更正任务引起了学术界和工业界的普遍关注。

中文语法错误更正任务即通过某种算法，使计算机自动地对包含语法错误的中文句子进行语法错误更正，输出正确的中文句子。目前，最普遍的中文语法错误更正方法是把语法错误更正任务作为翻译任务来完成。通过使用序列到序列神经网络模型，将包含语法错误的中文句子“翻译”为正确的中文句子。

现有用于中文语法错误更正的“翻译”技术，一部分方法是利用多模型，对包含语法错误的中文句子进行多次处理实现中文语法错误更正；另一部分方法则是直接改进序列到序列神经网络模型，加强序列到序列神经网络模型对中文句子的建模能力，实现中文语法错误更正。

如图1所示，现有技术之一的“A Two-Stage Model for Chinese GrammaticalError Correction”文章中，使用拼写检查(Spelling Check)+Transformer双模型进行中文语法错误更正。

对于拼写检查(Spelling Check)模型，首先利用JIEBA分词器和给定词典找出分词结果中未在给定词典内的词；其次，通过相似字符集合给出未在给定词典内的词的可能候选词集合；最后使用预训练好的5-gram语言模型在可能候选词集合中选择最高概率候选词，得到一次纠错结果。

对于Transformer神经网络模型，首先使用通过拼写检查(Spelling Check)模型得到的一次纠错结果作为编码器的输入；其次，编码器通过多头注意力对输入句子进行建模，得到输入句子的特征表示；最后解码器直接使用编码器提取得到的特征表示进行解码，得到二次纠错结果。

如图2所示，现有技术之二的“Improving Grammatical Error Correction viaPre-Training a Copy-Augmented Architecture with Unlabeled Data”文章中提出通过加入复制增强机制(Copy-Augmented)改进Transformer，解决语法纠错任务中未知词(OOV，Out Of Vocabulary)问题和部分词无需纠错问题。

首先，将待纠错句子作为Transformer模型编码器的输入，通过多头注意力对待纠错句子进行建模，得到待纠错句子的特征表示；其次，将待纠错句子的特征表示作为Transformer模型解码器的输入，解码得到解码器预测字符概率分布；同时，使用待纠错句子的特征表示和Transformer解码器最后一层的隐藏状态作为复制增强模块的输入，得到待纠错句子中每个字符被复制到解码器输出的复制概率分布；最后，联合解码器预测字符概率分布和待纠错句子中每个字符的复制概率分布得到每个预测字符的最终概率分布，最终概率分布如下所示：