[发明专利]语义分析模型评价方法

权利要求书

1.一种语义分析模型评价方法，其特征在于，包含：

测试所述语义分析模型的基本功能，具体包含：

检查所述语义分析模型的模型词表；

通过简易测试集对所述语义分析模型进行测试判断所述语义分析模型对简易测试集的分析结果；

对上述测试结果进行打分得到第一得分；

测试所述语义分析模型的泛化能力，具体包含：

将若干所述语义分析模型能够准确识别的语料做不影响语句语义的改写处理得到改写语料；

将改写后得到的若干改写语料重新输入到所述语义分析模型判断其是否能够正确识别；

对上述测试结果进行打分得到第二得分；

测试所述语义分析模型的反向识别能力，具体包含：

将若干所述语义分析模型能够准确识别的正向语料做反向改写得到反向语料；

将改写后得到的若干反向语料重新输入到所述语义分析模型判断其是否能够正确识别；

对上述测试结果进行打分得到第三得分；

综合上述步骤的打分结果得到一个综合得分。

2.根据权利要求1所述的语义分析模型评价方法,其特征在于，

所述检查所述语义分析模型的模型词表的具体方法为：

将所述语义分析模型的模型词表和行业关键词库进行比对以判断所述模型词表是否齐全。

3.根据权利要求2所述的语义分析模型评价方法,其特征在于，

所述行业关键词库通过以下具体方法获得：

获取各行业的对话语料；

将所述对话语料输入到注意力机制模型以自动识别出其中的关键词；

将所有提取出的关键词组成所述行业关键词库。

4.根据权利要求3所述的语义分析模型评价方法,其特征在于，

所述通过简易测试集对所述语义分析模型进行测试判断所述语义分析模型对简易测试集的分析结果的具体方法为：

获取若干测试语句；

将若干所述测试语句分别输入到多个简易语义分析模型；

将每个所述简易语义分析模型均给出高分的所述测试语句挑选出来组成所述简易测试集；

将所述简易测试集输入所述语义分析模型得到分析结果。

5.根据权利要求1所述的语义分析模型评价方法,其特征在于，

所述将若干所述语义分析模型能够准确识别的语料做不影响语句语义的改写处理得到改写语料的具体方法为：

获取若干所述语义分析模型能够准确识别的语料；

通过第一改写模型对这些语料进行添加错别字、添加标点符号、近义词替换和添加不影响语义的单词中的至少一种处理方法得到所述改写语料。

6.根据权利要求1所述的语义分析模型评价方法,其特征在于，

所述将若干所述语义分析模型能够准确识别的语料做不影响语句语义的改写处理得到改写语料的具体方法为：

获取若干所述语义分析模型能够准确识别的语料；

通过翻译模型将这些语料翻译成英文后再翻译回中文得到所述改写语料。

7.根据权利要求1所述的语义分析模型评价方法,其特征在于，

所述将若干所述语义分析模型能够准确识别的正向语料做反向改写得到反向语料的具体方法为：

获取若干所述语义分析模型能够准确识别的正向语料；

通过第二改写模型对这些正向语料进行添加否定词和替换反义词中的一种处理方法得到所述反向语料。

8.根据权利要求1所述的语义分析模型评价方法,其特征在于，

所述将若干所述语义分析模型能够准确识别的正向语料做反向改写得到反向语料的具体方法为：

获取若干所述语义分析模型能够准确识别的正向语料；

通过第三改写模型对这些正向语料进行反向语义改写得到所述反向语料。