[发明专利]基于真实错误模式的语法纠错数据增强方法及装置

说明书

本发明公开了基于真实错误模式的语法纠错数据增强方法及装置，方法包括获取待加噪语句和加噪策略集合；确定待加噪语句中各个词语的加噪概率；根据加噪概率从加噪策略集合中随机选取一个加噪策略对待加噪词语进行加噪处理；根据加噪处理后的错误语句以及加噪处理前的正确语句，构建平行语句对；加噪策略集合包括基于真实错误模式的替换策略、近义词替换策略、功能词替换策略、相似拼写替换策略和屈折替换策略。本发明实施例通过真实错误的引入和对多种真实错误的模仿，可以生成更真实、更接近学习者真实所犯错误的高质量人造错误增强数据；本发明通过多种类型的噪声方案，可以制造种类多样的语法错误，可广泛应用于数据处理技术领域。

技术领域

本发明涉及数据处理技术领域，尤其是基于真实错误模式的语法纠错数据增强方法及装置。

背景技术

语法纠错是指针对有语法错误的语句进行语法检测和纠错并生成自然通顺和语法正确的语句的过程。近年来基于神经网络的语法纠错模型取得很好效果，但这些模型通常需要大规模有标注的平行训练数据，而实际场景中，由于人工标记大规模海量数据的代价过高，研究人员尝试从另一个角度改进纠错模型的性能，即通过数据增强方法，对正确的语句引入噪声获得具有错误的伪标记数据，作为对人工标注数据的补充，进而提升模型的整体性能。

以英语语言的一个正确句子“This is a sentence”为例，通过引入噪音将“is”替换为“are”,将“sentence”替换为“sentene”，得到一个含有语法错误的句子“This are asentene”将两个句子组合得到新的平行训练句对，可以得到新的人工生成的有标记训练数据，进而作为对已有的人工标记训练数据的补充。通过数据增强方法，可以得到大规模人工生成的伪标记语句，进而得到大规模伪标记平行句对，作为原有训练数据的补充，一定程度上缓解语法纠错任务训练数据不足的限制。

现有数据增强技术主要包括基于编辑操作的方法、基于机器翻译回译的方法等，基于编辑操作的数据增强方法采用从词典中随机选取词语进行替换或插入、随机删除、随机位置交换等编辑操作，虽然可以生成大量的人工错误数据，但是所生成的错误存在学习者不会出现的错误数据，这种不真实和质量低的错误数据会进一步错误传播到语法纠错模型中，从而降低模型的整体性能。基于回译的方法虽然可以取得较好效果，但仍需要大规模的已标记训练数据。而学习者所犯的各类真实错误在已有的训练标注数据中已经进行了标注，这些标注数据中的真实错误模式可以有效应用于数据增强方法，从而生成真实的人造数据。另外，学习者在学习语言知识过程中，存在学习不准确而导致的各类语法错误，因此基于语言知识设计加噪策略可以更好的反应学习者的真实错误，生成更真实和更多样的人工错误数据。

发明内容

有鉴于此，本发明实施例提供一种更真实、更多样的基于真实错误模式的语法纠错数据增强方法及装置。

本发明的一方面提供了基于真实错误模式的语法纠错数据增强方法，包括：

获取待加噪语句和加噪策略集合；其中，所述待加噪语句中包含多个词语；

确定所述待加噪语句中各个词语的加噪概率；

根据所述加噪概率，从所述加噪策略集合中随机选取一个加噪策略对待加噪词语进行加噪处理；

根据加噪处理后的错误语句以及加噪处理前的正确语句，构建平行语句对；其中，所述平行语句对作为伪标记训练数据用于语法纠错模型训练；

其中，所述加噪策略集合包括基于真实错误模式的替换策略、近义词替换策略、功能词替换策略、相似拼写替换策略和屈折替换策略。

可选地，所述根据所述加噪概率，从所述加噪策略集合中随机选取一个加噪策略对待加噪词语进行加噪处理，包括：

根据所述加噪概率，从所述待加噪语句中确定待加噪词语；

从所述加噪策略集合中选取基于真实错误模式的替换策略对所述待加噪词语进行加噪处理；