[发明专利]语义理解模型评估方法、装置及存储介质

权利要求书

1.一种语义理解模型评估方法，其特征在于，包括：

获取待评估的语义理解模型对应的至少一个评估维度、以及每一所述评估维度对应的至少一个维度值；

根据所述评估维度和维度值确定多个维度值组；

获取每个所述维度值组对应的多条已标注语料的初始语义标注和模型语义标注；

根据所述初始语义标注和模型语义标注确定所述维度值组对应的指标值集；其中，若所述指标值集包括准确率、召回率和综合值，所述指标值集是根据在所述多条已标注语料中，初始语义标注与理解正确语料的初始语义标注相同的已标注语料的数量、模型语义标注与理解正确语料的模型语义标注相同的已标注语料的数量及理解正确语料的数量确定的，所述理解正确语料为对应初始语义标注和模型语义标注相同的已标注语料；

根据所述指标值集和维度值组建立所述语义理解模型对应的评估数据库；

当获取到查询指令时，基于所述评估数据库对所述语义理解模型进行评估。

2.根据权利要求1所述的语义理解模型评估方法，其特征在于，所述指标值集包括准确率、召回率和综合值，所述根据所述初始语义标注和模型语义标注确定所述维度值组对应的指标值集，具体包括：

判断每条所述已标注语料对应的所述初始语义标注和模型语义标注是否相同；

若是，则将对应的所述已标注语料标记为理解正确语料；

统计所述多条已标注语料中初始语义标注与所述理解正确语料的初始语义标注相同的已标注语料的第一数量、所述多条已标注语料中模型语义标注与所述理解正确语料的模型语义标注相同的已标注语料的第二数量、以及所述理解正确语料的第三数量；

根据所述第一数量、第二数量以及第三数量确定相应所述维度值组对应的准确率、召回率和综合值。

3.根据权利要求1所述的语义理解模型评估方法，其特征在于，所述基于所述评估数据库对所述语义理解模型进行评估，具体包括：

获取查询指令，所述查询指令携带所述语义理解模型的目标评估维度值组；

从所述评估数据库中获取所述目标评估维度值组对应的指标值集；

根据所述目标评估维度值组对应的指标值集，确定所述语义理解模型的评估结果，以对所述语义理解模型进行评估。

4.根据权利要求1所述的语义理解模型评估方法，其特征在于，所述基于所述评估数据库对所述语义理解模型进行评估，具体包括：

获取查询指令；

根据所述查询指令获取每个所述评估维度的查询优先级；

根据所述评估数据库和查询优先级确定每一所述评估维度对应的目标维度值；

根据所述目标维度值确定所述语义理解模型的评估结果，以对所述语义理解模型进行评估。

5.根据权利要求4所述的语义理解模型评估方法，其特征在于，所述至少一个评估维度包括应用维度、问法维度、语义维度和组件维度，所述根据所述评估数据库和查询优先级确定每一所述评估维度对应的目标维度值，具体包括：

根据所述查询优先级，从所述应用维度、问法维度、语义维度和组件维度中确定第一级评估维度，并获取所述第一级评估维度对应的至少一个第一维度值；

从所述评估数据库中获取每一所述第一维度值对应的第一指标值集；

根据所述第一指标值集，从所述至少一个第一维度值中确定所述第一级评估维度的目标维度值；

根据所述查询优先级，从所述应用维度、问法维度、语义维度和组件维度中剩余的评估维度中确定第二级评估维度，并获取所述第二级评估维度对应的至少一个第二维度值；

将每一所述第二维度值与所述第一级评估维度的目标维度值进行组合，得到至少一个第一维度值组，并从所述评估数据库中获取每一所述第一维度值组对应的第二指标值集；

根据所述第二指标值集，从所述至少一个第二维度值中确定所述第二级评估维度的目标维度值。