[发明专利]语义分析模型评价方法

说明书

本发明公开了一种语义分析模型评价方法，该方法包含以下步骤：测试语义分析模型的基本功能。测试语义分析模型的泛化能力。测试语义分析模型的反向识别能力。综合上述步骤的打分结果得到一个综合得分。本发明提供的语义分析模型评价方法，从多个角度评价语义分析模型的能力，评价的结果更加准确全面。

技术领域

本发明涉及一种语义分析模型评价方法。

背景技术

随着互联网电商的发达，智能客服被应用的越来越多。好的智能客户能够准确识别用户的意图从而能够进行有针对性的回复。而智能客服的核心在于其中语义识别模型的性能。

现阶段的语义分析模型评估方式比较单一，基本是基于测试集的某一项指标做出评价，比如在测试集上的准确率、精确率或者F1值。所以，语义分析模型即使在现有的测试集上表现优异，但不代表在线上真实场景就会有良好的体感。

发明内容

本发明提供了一种语义分析模型评价方法，采用如下的技术方案：

一种语义分析模型评价方法，包含：

测试语义分析模型的基本功能，具体包含：

检查语义分析模型的模型词表；

通过简易测试集对语义分析模型进行测试判断语义分析模型对简易测试集的分析结果；

对上述测试结果进行打分得到第一得分；

测试语义分析模型的泛化能力，具体包含：

将若干语义分析模型能够准确识别的语料做不影响语句语义的改写处理得到改写语料；

将改写后得到的若干改写语料重新输入到语义分析模型判断其是否能够正确识别；

对上述测试结果进行打分得到第二得分；

测试语义分析模型的反向识别能力，具体包含：

将若干语义分析模型能够准确识别的正向语料做反向改写得到反向语料；

将改写后得到的若干反向语料重新输入到语义分析模型判断其是否能够正确识别；

对上述测试结果进行打分得到第三得分；

综合上述步骤的打分结果得到一个综合得分。

进一步地，检查语义分析模型的模型词表的具体方法为：

将语义分析模型的模型词表和行业关键词库进行比对以判断模型词表是否齐全。

进一步地，行业关键词库通过以下具体方法获得：

获取各行业的对话语料；

将对话语料输入到注意力机制模型以自动识别出其中的关键词；

将所有提取出的关键词组成行业关键词库。

进一步地，通过简易测试集对语义分析模型进行测试判断语义分析模型对简易测试集的分析结果的具体方法为：

获取若干测试语句；

将若干测试语句分别输入到多个简易语义分析模型；

将每个简易语义分析模型均给出高分的测试语句挑选出来组成简易测试集；

将简易测试集输入语义分析模型得到分析结果。

进一步地，将若干语义分析模型能够准确识别的语料做不影响语句语义的改写处理得到改写语料的具体方法为：

获取若干语义分析模型能够准确识别的语料；