[发明专利]一种基于UniLM的中文语法纠错方法

权利要求书

1.一种基于UniLM的中文语法纠错方法，其特征在于，该方法包括以下步骤：

步骤A：利用爬虫技术采集Lang-8网站母语非中文学习者书写语句和对应批改语句，并对语句进行清洗生成语料库；

步骤B：对语料库进行预处理后划分训练集和验证集；

步骤C：结合预训练模型，对构建的基于UniLM的中文语法纠错模型采用训练集进行微调训练；

步骤D：使用训练好的纠错模型采用验证集进行验证，并对纠错效果进行评价，并利用该纠错模型输入待纠错语句进行纠错。

2.根据权利要求1所述的一种基于UniLM的中文语法纠错方法，其特征在于，所述的步骤A中，对语句进行清洗筛选的原则具体包括：

若每个原语句不止对应一个批改句，则选择其中一个批改句与原语句组成语句对；

若原语句没有对应批改句，即语句正确，则复制其本身组成语句对；

原语句和批改句的句长选取范围为10～80个字。

3.根据权利要求1所述的一种基于UniLM的中文语法纠错方法，其特征在于，所述的步骤B中，预处理包括去停用词、繁体转简体以及切分处理，所述的去停用词具体为：

去除包括数字和英文的非中文字符；

所述的繁体转简体具体为：

将语句中的繁体字符转为简体字符；

所述的切分处理具体为：

按照字粒度对语句进行切分生成模型输入序列。

4.根据权利要求3所述的一种基于UniLM的中文语法纠错方法，其特征在于，在去停用词过程中，若字符属于数字，则用表示数字的特殊字符[num]替换，若字符为非中文语言，则用表示非中文的特殊字符[eng]替换。

5.根据权利要求1所述的一种基于UniLM的中文语法纠错方法，其特征在于，所述的步骤C中，基于UniLM的中文语法纠错模型采用深度学习模型，具体由预训练模型、UniLM部分、Linear+Dropout层组成，所述的UniLM部分结构由Embedding层和N个相同的神经模块组成，且每个模块均由Multi-Head Attention和Feed Forward子层组成，每个子层均后接残差连接Residual Connection。

6.根据权利要求5所述的一种基于UniLM的中文语法纠错方法，其特征在于，所述的UniLM部分用以抽取输入语义特征，其中的Embedding层用以将输入语句映射成词向量形式，神经模块的Multi-Head Attention子层用以计算注意力，融合上下文语义信息，FeedForward子层用以对输入数据进行线性变换，残差连接用以防止模型过拟合并加快收敛速度，Linear层用以将输入数据特征转换为输出数据特征，Dropout层用以防止模型过拟合。

7.根据权利要求5所述的一种基于UniLM的中文语法纠错方法，其特征在于，所述的预训练模型采用Hugging Face的开源中文预训练模型Chinese-RoBERTa-wwm-ext。

8.根据权利要求5所述的一种基于UniLM的中文语法纠错方法，其特征在于，所述的步骤C中，训练中文语法纠错模型具体为：

采用预训练模型初始化中文语法纠错模型，并使用训练集对超参数进行微调训练，在训练过程中，每次输入一批次的语句数据。

9.根据权利要求8所述的一种基于UniLM的中文语法纠错方法，其特征在于，所述的超参数包括batch size、epoch、learning rate和drop rate。

10.根据权利要求1所述的一种基于UniLM的中文语法纠错方法，其特征在于，所述的步骤D中，对训练好的中文语法纠错模型进行验证，根据评价指标进行评价纠错效果，所述的评价指标包括精确率、召回率和F值。