[发明专利]一种汉语语法纠错的评估方法、装置、设备及存储介质

说明书

本发明公开了一种汉语语法纠错的评估方法、装置、设备及存储介质，包括：对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；将每一修正句子分别与所有黄金标准注释进行匹配，计算得到基于句子级别的准确率；其中，修正句子为原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；对每一修正句子利用BLEU算法，计算得到基于字级别的BLEU值；将每一修正句子分别与对应的原始句子进行匹配，计算得到基于字级别的修改度；根据基于句子级别的准确率、基于字级别的BLEU值和基于字级别的修改度对待评估汉语语法纠错模型进行评估。采用本发明实施例能够科学、全面、客观地评价汉语语法纠错模型的纠错效果。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种汉语语法纠错的评估方法、装置、设备及存储介质。

背景技术

国外英语语法纠错的研究起步比较早，英语的语法规则比较统一，针对英语语法纠错的评估指标也比较多。例如基于参考答案的F值、I-measure、F_0.5和GLEU，同时也有无参考答案的度量指标，涵盖了语法、流畅性和语义评估。然而，相较于英语语法纠错，国内汉语语法纠错的研究起步比较晚，汉语语法规则的复杂多变，导致汉语的语法纠错在自然语言处理领域中一直极具有挑战性。由于汉语语法纠错的评估指标受汉语分词结果或不同语言模型的显著影响，如何全面、客观地评估汉语语法的纠错效果成为了一个热门的研究方向。

现有汉语语法纠错评价方法的一个明显缺陷是评估结果会受中文分词结果或不同语言模型的显著影响，因此，在不同的分词系统或不同的语言模型下，相同的汉语语法纠错模型的评估结果会有很大差异。

发明内容

本发明提供一种汉语语法纠错的评估方法、装置、设备及存储介质，以解决现有技术中的评估结果受到汉语分词结果或不同语言模型影响的问题，本发明将基于句子级别的准确率、基于字级别的BLEU值和基于字级别的修改度作为汉语语法纠错模型的评估指标，使得评估结果不受汉语分词结果或不同语言模型的影响，能够科学、全面、客观地评价汉语语法纠错模型的纠错效果。

为实现上述目的，本发明实施例提供了一种汉语语法纠错的评估方法，包括：

对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；其中，所述扩充测试集包括若干原始句子，及对应的若干黄金标准注释；

将每一修正句子分别与所有所述黄金标准注释进行匹配，计算得到基于句子级别的准确率；其中，所述修正句子为所述原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；

基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值；

将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度；

根据所述准确率、所述BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型进行评估。

作为上述方案的改进，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，包括：

对所述测试集中每一第一原始句子进行标注，得到每一所述第一原始句子的若干修正答案；其中，所述第一原始句子为含有两个黄金标准注释的原始句子；

对于每一所述第一原始句子的若干修正答案，当出现至少两个相同的修正答案时，将所述相同的修正答案作为新的黄金标准注释添加至所述测试集的黄金标准校正注释集中，得到扩充测试集。

作为上述方案的改进，所述将每一修正句子分别与所有所述黄金标准注释进行匹配，计算得到基于句子级别的准确率，包括：

将每一所述修正句子分别与所有所述黄金标准注释进行匹配，得到若干有效的修正句子；

统计所有所述有效的修正句子的总数量，并将所述总数量除以所述扩充测试集的样本数，得到基于句子级别的准确率。