[发明专利]一种基于句法分析的句子语法纠错方法及系统

权利要求书

1.一种基于句法分析的句子语法纠错方法，其特征在于，包括：

通过基础预训练模型将无标注语料进行编码，获得第一句子向量，根据所述无标注语料和词语依存关系，将所述第一句子向量进行依存预测模型预训练，获得依存预测模型；

根据第一预设规则，将所述无标注语料的单词进行掩码替换，获得掩码语料，将所述掩码语料进行掩码语言模型训练，获得掩码语言模型；

根据文本编辑器、所述依存预测模型和所述掩码语言模型，建立句法加强文本编码器；

通过所述句法加强文本编码器将待纠错句子进行句子编码，获得第二句子向量；

通过句法解码器对所述第二句子向量进行解码，获得所述待纠错句子对应的纠正句子。

2.如权利要求1所述的基于句法分析的句子语法纠错方法，其特征在于，所述通过所述句法加强文本编码器将待纠错句子进行句子编码，获得第二句子向量，具体为：

按照预设三元组的数据格式，标注所述待纠错句子所在领域的语法纠错数据集，获得领域数据集；

根据所述领域数据集，调整所述句法加强文本编码器，获得领域文本编码器；

通过所述领域文本编码器将所述待纠错句子进行句子编码，获得所述第二句子向量。

3.如权利要求1所述的基于句法分析的句子语法纠错方法，其特征在于，所述通过基础预训练模型将无标注语料进行编码，获得第一句子向量，根据所述无标注语料和词语依存关系，将所述第一句子向量进行依存预测模型预训练，获得依存预测模型，具体为：

将所述无标注语料输入句法分析器，获得每个句子的所述词语依存关系的三元组；其中，所述三元组包括父节点向量、子节点向量和依存标签；

通过所述基础预训练模型将无标注语料进行编码，获得所述第一句子向量；

根据预设选择规则和所述每个句子的词语依存关系的三元组，选择词语对，根据所述词语对所对应的所述第一句子向量，获得词语对向量；其中，所述词语对向量包括第一词语向量和第二词语向量；

根据所述依存标签，将所述词语对向量进行依存预测模型预训练，并通过交叉熵损失函数，计算损失值，根据所述损失值，进行梯度下降更新模型参数，更新所述依存预测模型的参数，获得所述依存预测模型。

4.如权利要求3所述的基于句法分析的句子语法纠错方法，其特征在于，所述根据所述依存标签，将所述词语对向量进行依存预测模型预训练，并通过交叉熵损失函数，计算损失值，根据所述损失值，进行梯度下降更新模型参数，更新所述依存预测模型的参数，获得所述依存预测模型，具体为：

将所述第一词语向量输入池化层，输出第三词语向量，将所述第二词语向量输入所述池化层，输出第四词语向量；根据所述依存标签，将所述第三词语向量和所述第四词语向量输入分类器中，预测所述词语对的依存关系，根据所述依存标签和所述词语对的依存关系，通过交叉熵损失函数，计算所述损失值；

根据所述损失值，确定当前的所述交叉熵损失函数的梯度，进行梯度下降更新模型参数，更新所述依存预测模型的参数，获得所述依存预测模型。

5.如权利要求1所述的基于句法分析的句子语法纠错方法，其特征在于，所述根据第一预设规则，将所述无标注语料的单词进行掩码替换，获得掩码语料，将所述掩码语料进行掩码语言模型训练，获得掩码语言模型，具体为：

根据第一预设规则，选择所述无标注语料的句子中15％的单词进行掩码，获得掩码单词，将所述掩码单词按预设比例分成三组，获得第一组掩码单词、第二组掩码单词和第三组掩码单词；

将所述第一组掩码单词使用掩码标记进行替换，将所述第二组掩码单词不进行替换，将所述第三组掩码单词使用一个随机单词进行替换，获得所述掩码语料；

将所述掩码语料进行掩码语言模型训练，获得掩码语言模型。