[发明专利]一种基于句法分析的句子语法纠错方法及系统

说明书

本发明公开了一种基于句法分析的句子语法纠错方法及系统，方法包括通过基础预训练模型将无标注语料进行编码，获得第一句子向量，根据无标注语料和词语依存关系，将第一句子向量进行依存预测模型预训练，获得依存预测模型；根据第一预设规则，将无标注语料的单词进行掩码替换，获得掩码语料，将掩码语料进行掩码语言模型训练，获得掩码语言模型；根据文本编辑器、依存预测模型和掩码语言模型，建立句法加强文本编码器；通过句法加强文本编码器将待纠错句子进行句子编码，获得第二句子向量；通过句法解码器对第二句子向量进行解码，获得待纠错句子对应的纠正句子。本实施例增强语法分析感知和语义表示能力，提高句子语法纠错的准确性。

技术领域

本发明涉及句子语法纠错领域，尤其涉及一种基于句法分析的句子语法纠错方法及系统。

背景技术

语法纠错是文本纠错领域中的一个重要组成部分，语法纠错是给定模型一个中文语句，然后模型输出一个针对语法改正后的句子。基于预训练的方法是一种常见的文本纠错的方法，这种方法主要解决的是中文拼写的错误，比如“触须(储蓄)卡”、“眼睛(镜)蛇”，这类拼写错误可以基于大规模的预训练模型通过预训练的语料来解决。

现有技术中通过文本编码器进行文本纠错，存在很多缺陷，比如BERT语言模型虽然在自然语言处理的任务上取得成果，但是其预训练阶段不涉及句法相关的预训练任务，模型对于语法纠错的任务表现不好，基于预训练模型的纠错模型过度依赖数据，对于训练集无法覆盖的语料泛化能力较差。而针对一些和语法相关的文本错误，单纯的基于预训练模型的方法有很大的局限性，例如“全场职工讨论并听取(听取并讨论)了报告”，这句话不存在拼写错误，而是“听取”和“讨论”的顺序反了，这样的语法错误是没办法通过大规模的预训练语料来解决的，而且类似的样例很多，预训练语料也无法覆盖所有的样例，模型泛化能力较差。需要同时解决拼写错误和语法错误的方法是模型串行，即第一步将文本输入到拼写纠错的模型，得到拼写纠错后的结果，第二步将该结果输入到语法纠错的模型，得到语法纠错的结果。如果第一步拼写纠错的结果是错误的，那么语法纠错模型的输入也是错误的句子，这极大的影响了语法纠错模型的性能，语法纠错的准确性低。

发明内容

本发明提供了一种基于句法分析的句子语法纠错方法及系统，实现增强语法分析感知能力和语义表示能力，降低模型串行导致的错误逐级传递，提高句子语法纠错的准确性。

为了解决上述技术问题，本发明实施例提供了一种基于句法分析的句子语法纠错方法，包括：

通过基础预训练模型将无标注语料进行编码，获得第一句子向量，根据无标注语料和词语依存关系，将第一句子向量进行依存预测模型预训练，获得依存预测模型；

根据第一预设规则，将无标注语料的单词进行掩码替换，获得掩码语料，将掩码语料进行掩码语言模型训练，获得掩码语言模型；

根据文本编辑器、依存预测模型和掩码语言模型，建立句法加强文本编码器；

通过句法加强文本编码器将待纠错句子进行句子编码，获得第二句子向量；

通过句法解码器对第二句子向量进行解码，获得待纠错句子对应的纠正句子。