[发明专利]语义理解模型评估方法、装置及存储介质

说明书

本申请涉及一种语义理解模型评估方法、装置及存储介质，该语义理解模型评估方法包括：获取待评估的语义理解模型对应的至少一个评估维度、以及每一评估维度对应的至少一个维度值；根据评估维度和维度值确定多个维度值组；获取每个维度值组对应的多条已标注语料的初始语义标注和模型语义标注；根据初始语义标注和模型语义标注确定维度值组对应的指标值集；根据指标值集和维度值组建立语义理解模型对应的评估数据库；基于评估数据库对语义理解模型进行评估，从而，能够从不同维度以及结合多个维度对语义理解模型的自然语言处理能力进行分析评估，以针对性提高语义理解模型的性能。

技术领域

本申请涉及计算机技术领域，具体涉及一种语义理解模型评估方法、装置及存储介质。

背景技术

随着科技的发展，人工智能技术在电子领域得到迅速发展和普及。语义理解是人工智能技术的重要一环，如何准确地理解并执行用户的要求是人工智能技术的发展趋势。

目前，语义理解相关的研究主要集中在算法方面、以及工程应用方面，而在自然语言的处理能力分析方面却存在技术空白，进而当在自然语言处理的应用场景中出现语义理解结果不理想时，由于语义理解过程中所涉及的算法以及机器学习模型较多，使得技术人员无法准确确定问题所在，并有针对性地解决问题。

发明内容

本申请实施例提供一种语义理解模型评估方法、装置及存储介质，以从不同维度以及结合多个维度对语义理解模型的自然语言处理能力进行分析评估，进而能够有针对性地提高语义理解模型的自然语言处理能力。

本申请实施例提供了一种语义理解模型评估方法，包括：

获取待评估的语义理解模型对应的至少一个评估维度、以及每一所述评估维度对应的至少一个维度值；

根据所述评估维度和维度值确定多个维度值组；

获取每个所述维度值组对应的多条已标注语料的初始语义标注和模型语义标注；

根据所述初始语义标注和模型语义标注确定所述维度值组对应的指标值集；

根据所述指标值集和维度值组建立所述语义理解模型对应的评估数据库；

基于所述评估数据库对所述语义理解模型进行评估。

其中，所述指标值集包括准确率、召回率和综合值，所述根据所述初始语义标注和模型语义标注确定所述维度值组对应的指标值集，具体包括：

判断每条所述已标注语料对应的所述初始语义标注和模型语义标注是否相同；

若是，则将对应的所述已标注语料标记为理解正确语料；

统计所述多条已标注语料中初始语义标注与所述理解正确语料的初始语义标注相同的已标注语料的第一数量、所述多条已标注语料中模型语义标注与所述理解正确语料的模型语义标注相同的已标注语料的第二数量、以及所述理解正确语料的第三数量；

根据所述第一数量、第二数量以及第三数量确定相应所述维度值组对应的准确率、召回率和综合值。

其中，所述基于所述评估数据库对所述语义理解模型进行评估，具体包括：

获取查询指令，所述查询指令携带所述语义理解模型的目标评估维度值组；

从所述评估数据库中获取所述目标评估维度值组对应的指标值集；

根据所述目标评估维度值组对应的指标值集，确定所述语义理解模型的评估结果，以对所述语义理解模型进行评估。

其中，所述基于所述评估数据库对所述语义理解模型进行评估，具体包括：

获取查询指令；

根据所述查询指令获取每个所述评估维度的查询优先级；